La permanència a Sant Pere de les Puel·les no fou molt llarga. El setembre de 1596, es féu públic un escrit del mateix Clement VIII, signat el 5 de juliol a roma, pel qual es concedia indulgència plenària a tots els cristians que una vegada confessats i havent rebut la comunió, visitessin la capella o l'altar de Sant Magí a l'església de Sant Sebastià de Barcelona.

Estava situada entre la plaça de Sant Sebastià i el carrer del consulat. Fou construïda per ordre del Consell de Cent al principi del segle XVI.

La imatge de Sant Magí ocupava un lloc preferent a l'altar major, al costat de Sant Sebastià, titular de dita església, i de la Verge de la Canal de gran devoció a tot el barri de la ribera.

Ens és coneguda la reunió del consell general celebrada el 3 de maig de 1630. S'hi tractà dels dibuixos i models per la confecció d'un conjunt d'elements arquitectònics pel retaule de la capella de Sant Magí.

L'autor fou el fuster Josep Sayós. Un any després s'encarregà al daurador Joan Espinosa la tasca de daurar amb pans d'or tot el retaule i avalà el contracte el pintor renaixentista Joan Huguet.

La segona referència a la Confraria la trobem al consell general del 25 de juliol de assistents, hi havia els qui acabaven el seu mandat i els nous elegits. Es nomenaren les ternes de prohoms dels barris de l'Encants, dels carrers Ample, Flassaders, Portal Nou, Raval, Boria i de la Tapineria.

Dins de l'Acta de la reunió general de 1960, trobem la notícia de les despeses originades per la confecció d'una perspectiva que representava la vida del Sant ermità de la Brufaganya.

A les Actes de 1763 i 1769 consta que s'afegiren prohoms dels barris de la Barceloneta i de la Boqueria respectivament.

La primera vegada que trobem descrita la processó de Sant Magí de l'església de Sant Sebastià, fou el 6 d'agost de 1783:

"En primer lloc desfilava a cavall "L'andador" de la Confraria amb el cub i la vara que portava la insígnia del Sant d'argent. Aquell any fou el confrare Francesc Umbert que portava, també cavalcant, la bandera (existent avui dia) acompanyat de dos cordonistes igualment cavalcant.Després tres animals guarnits amb picarols portaven dues botes d'aigua de Sant Magí lluny, conduits pel traginers.Seguien un carruatge amb música i uns altres sis amb els oficials de la Confraria tirant rams. Finalment el pendonista i el portador del Sant, altrament dit "portasant", el clavari amb la borsa i un camàlic amb un gran càntir ple d'aigua de la Brufaganya."

Era costum que el dia de Sant Magí, cadascun dels prohoms repartís l'aigua a tothom. Per tal que es conegués, es col·locava una petita bandera a la porta de la llar envoltada amb espígol. Al matí, a les set, una comitiva musical donava el bon dia amb els seus instruments.

A la processó de 1792 hi participà la capella de música de la Basílica de Santa Maria del Mar cantant el Rosari. Curiosament després fou erigida la Confraria en aquest temple.

La festivitat de 1796 fou especialment important. Tant l'església com a les Voltes dels Encants, carrers del Portadors, Agullers, Vidriera, Hostal del Sol i Plaça dels Traginers, foren ornats amb teles, senyeres, fanals, estampes cornucòpies i capelletes de Sant Magí, amb les seves il·luminacions pel divertiment del públic. Hi hagué una forta rivalitat entre veïns per de que el seu carrer fos el més ben ornat.

A la processó hi desfilaren nou banderes, músics d'artilleria i milicians a més de trenta nens vestits d'ermitans amb els seus bàculs.

La comunitat parroquial acompanyava la imatge del gloriós Sant Magí sota tàlem i sobre un tabernacle. Hi havia uns timbalers a cavall, quatre cobles de música, a més de la de la catedral. Finalment anaven portadors de brandons que eren menestrals devots del Sant.