Son fils aîné, appelé comme lui Sébastien, entre dans les ordres et devient à vingt-six ans évêque de Langres, duc et pair de France. Il ambitionne de venir l'homme fort de l'Eglise de France.
Le second fils, Jean, embrasse la carrière des armes. Il est connu pour sa férocité envers les protestants, qui le surnomment "le petit Mahomet". Il meurt au siège de Montpellier.
Le troisième frère Zamet, Jean-Pierre, fonde avec le duc de Ventadour la compagnie du saint-Sacrement, société qui a pour but de reprendre l'évangélisation de la France et de promouvoir des actions de charité.
