L‘esperienza da eremita fu messa a dura prova dalla numerosa gente che, mossa dall’ammirazione o dalla semplice curiosità, si spingeva fino alla rupe con il solo intento di incontrarlo. La fama delle sue virtù caritative, infatti, si diffondeva rapidamente, anche oltre i luoghi limitrofi.

Molti erano anche coloro che, affascinati dal suo esempio, gli si accostavano per seguirne le orme e divenirne discepoli, al punto che, ben presto, il gruppo divenne una congregazione, con principi basati sulla norma evangelica e con una vera e propria Regola che guidava l’itinerario terreno e spirituale, fondata sulla bontà e sulla carità verso il prossimo.

Verso l’anno 1142, il feudo di San Severo passò dalla contea di Ariano a quella di Buonalbergo, di recente istituzione. Anche il sito su cui sorgeva la chiesetta in onore della Vergine Maria, che era stata eretta in quegli anni dal Santo, venne a trovarsi, in questa nuova situazione geografica, sottoposta al conte Roberto de Medania, signore di Baselice.
Preoccupato che il conte Roberto potesse pretendere il diritto di possesso sui beni della congregazione, e avendo tentato inutilmente di ottenere il libero possesso del luogo su cui sorgeva la chiesetta, per il beneficio dei fedeli e dei suoi seguaci, Giovanni, profondamente turbato nell’animo, accettò l’offerta del conte Odoaldo, signore di Foiano, che gli offriva le chiavi della chiesa di San Firmiano, nei pressi dell’abitato della stessa cittadina di Foiano.

Foiano era destinato, dalla Volontà di Dio, a dare al Santo l’ultimo asilo e a vedere, sul suo territorio, la costruzione del monastero che sarebbe diventato uno dei riferimenti monastici più importanti dell’Italia meridionale per tutto il XII secolo e per i secoli successivi.

Nell’anno 1153, dopo quarantasei anni, Giovanni lasciava l’agro di Baselice insieme con tutti i suoi compagni per spostarsi nella chiesa di San Firmiano.

La nuova dimora, tuttavia, mostrava una certa inadeguatezza a contenere il numero sempre maggiore di seguaci. Pertanto, a quattro anni circa dalla sua venuta a San Firmiano, Giovanni si poneva alla ricerca di un luogo ancor più solitario e appartato, che, infine, trovò nella parte più alta del territorio circostante, il quale sembrava finalmente avere in sé le caratteristiche fisiche e simboliche da sempre ricercate: solitudine, bellezza del paesaggio e ricchezza di doni naturalistici. Inizialmente si trasferì alla nuova mansione solo con un ristretto numero di compagni, mentre il resto della congregazione lo raggiunse solo nel 1160, quando, un furioso incendio distrusse dalle fondamenta la chiesa di San Firmiano. Circa un anno più tardi cominciò, la costruzione del nuovo monastero del Gualdo Mazzocca.

Il monastero, con gli edifici annessi per il personale e gli animali, sorgeva in una splendida posizione, in un angolo del maestoso bosco di Mazzocca, all’inizio della valle del Fortore, un luogo in linea con la profonda esigenza di solitudine del Santo ma, contemporaneamente, depositario di un ampio tesoro naturalistico e storico che impreziosivano la quotidiana esperienza ascetica e caritativa dello stesso.

Nel monastero, il Santo dimorerà fino al 14 novembre 1170, quando, dopo aver prescritto che i nuovi monaci vivessero seguendo la Regola di San Benedetto, abbandonò la vita terrena lasciando al mondo il suo testamento spirituale fondato sulla contemplazione, la preghiera e la carità.