Le jeune vicaire Victor et Soeur Marie Ernestine, pris en flagrant délit, pendant qu'ils faisaient l'amour, sont défroqués par le prélat, le cardinal Trouduc. Ils cherchent du travail et trouvent un logement, un pavillon modeste qu'ils louent à M Pixic. En face de leur pavillon, ils vont surprendre deux couples (M et Mme Mouton, M et Mme Renard), qui pratiquent l'échangisme en toute simplicité, entre bons voisins, autour d'un barbecue. Cela va donner l'idée à Victor et Marie Ernestine d'enrôler des Compagnons pour favoriser l'échange libre et sonner la fin des adultères. Ces compagnons, dont les Mouton et Renard seront les premiers membres, porteront tous un badge avec une pomponette à la boutonnière pour se reconnaitre. Il va s'ensuivre tout un tas de péripéties pour ces compagnons qui ne vont pas tarder à éveiller les soupçons de la brigade des moeurs.