Po smrti roditelja on se zamonaši i udalji u jednu divlju goru, i tu u jednoj pećini počne se podvizavati. Pretrpeo je tu mnoge napasti od demona i od ljudi, od razbojnika i od svojih srodnika. Po tom se preseli u planinu Rilsku, i nastani u jednom šupljem drvetu.
Hranio se samo travom, i bobom, koji tu u blizini počne rasti po Božjem Promislu. Mnoge godine on nije video lica čovečjeg, dok ga, opet po Božjem Promislu, ne otkriju čobani, koji su tragali za svojim izgubljenim ovcama. Tako se svetitelj pročuje među ljudima, i ljudi mu počnu dolaziti tražeći pomoći u bolestima i mukama.
Posećivao ga je i sam car bugarski Petar, i tražio od njega saveta. Mnogi revnitelji duhovnog života nastane se u blizini Jovanovoj. Tu se ubrzo postroji hram i manastir. Sv. Jovan upokojio se mirno u Gospodu 18 avgusta 946 god. u 70 godini svoga života.
Po smrti javio se učenicima svojim. Mošti njegove prenešene su najpre u Sofiju, pa u Mađarsku, pa u Trnovo, i najzad u manastir Rilski gde i danas počivaju. Rilski manastir je kroz vekove bio kula svetilja i mesto sile čudotvorne i utehe duhovne za narod hrišćanski u Bugarskoj, naročito pak u teška vremena robovanja pod Turcima.
Tropar (glas 4):
Temelju pokajanja, zakone smernosti, sliko utehe i duhovnog savršenstba, tvoj život je bio sličan anđelskom, jer si u molitvama, postu i suzama prebivao oče Jovane. Zato moli Hrista Boga za duše naše.