Les Cowboys Fringants ont eu des débuts assez surprenants. Tout a commencé par la rencontre de Karl et de Jean-François à l'époque où ils faisaient tous deux partie de l'équipe de hockey amateur, les Jets de Repentigny. Jean-François en était à sa deuxième année dans l'équipe à l'arrivée de Karl, et il avait l'habitude de parler et de rire dans le fond du vestiaire.
Or, vint un jour le temps de réduire la taille de l'équipe. Jean-François n'avait rien à craindre, car, malgré sa petite taille, il était un des meilleurs marqueurs de l'équipe. Quant à Karl, il n'avait rien à craindre non plus, puisque son père connaissait l'entraineur de l'équipe.
Une fois que la réduction de l'équipe fut chose faite, Karl Tremblay, Jean-Francois Pauzé et Francis Parizeau en formèrent le trio d'élite.
Tremblay jouait à l'époque dans un obscur groupe punk et en était le chanteur. Voulant s'amuser un peu, il invita Pauzé à jouer avec lui, sachant qu'il grattait un peu la guitare.
Surpris, Jean-François accepta l'offre de Karl, et ils se rencontrèrent un soir dans le sous-sol des parents de Jean-François pour donner le jour aux « Oiseaux Fringants ».
En tombant sur une émission country du nom de « Ovila Landry Présente », J-F et Karl, trouvant le concept stupide, rirent des participants et ... créèrent un groupe country !
Le soir même, ils composèrent « Les routes du bonheur », leur première chanson, avec un magnétophone de mauvaise qualité de marque Candle que J-F avait « probablement volé à la poly », dit-il. Le lendemain, ils composèrent « Gaétane », leur premier succès.
Quelques jours plus tard, ils se présentèrent à cette fameuse émission country, J-F avait enfilé des vêtements de cowboy et Karl était arrivé en "vieux grunge fini"... Ce dernier avait oublié la moitié d'un couplet de Gaétane, Karl dira d'ailleurs que cela a été "leur première claque dans face"... Bref en rentrant, ils se dirent qu'ils ne feraient plus jamais de musique !
C'est quelques semaines plus tard que Karl et J-F passent devant la brasserie "La Ripaille", à Repentigny, où ils voient une affiche pour un casting d'auteurs-compositeurs. Sans trop y croire, ils décident quand même de s'inscrire... C'est un véritable succès !
Ayant travaillé pendant l'été avec une violoniste nommée Marie-Annick Lépine, J-F décide de la contacter pour lui proposer de faire du violon avec eux. Ils se retrouvent un soir dans le sous-sol chez J-F, et Marie-Annick considère le violon trop beau pour les chansons des deux garçons, mais finit quand même par accepter car "c'tait peut-être le feeling de jouer sur une scène", dit-elle.
Plus tard, Jérôme Dupras, le petit cousin de Marie-Annick, viendra s'ajouter au groupe en tant que bassiste, puis suivra Dominique Lebeau à la batterie.
Ainsi constitué, le groupe Les Cowboys Fringants doit sans doute une grande partie de son succès aux talents de la multi-instrumentiste Marie-Annick Lépine. Durant les années qui suivirent, ils se firent connaître partout au Québec par le biais du bouche à oreilles. C'est l'album Break Syndical qui les mena au succès avec des chansons telles que "Toune d'automne" et "En berne", probablement leurs premières compositions à tourner dans les radios commerciales. La Grand-Messe, le plus engagé de leurs albums à ce jour, ne fit qu'amplifier le phénomène.
Le 30 décembre 2006, le groupe donna ce qui devait être le dernier spectacle lié à son album La Grand-Messe au Centre Bell, à Montréal. Le Henri Band, groupe à inspiration folklorique et nationaliste que les Cowboys Fringants assignent souvent à leur première partie, ouvrit le spectacle. Le chanteur Richard Desjardins fit une apparition surprise pour interpréter la chanson Le gars d'la compagnie et pour chanter sa chanson Y va toujours y avoir. Ce spectacle est le deuxième que le groupe donna dans cette grande salle (le premier s'étant tenu le 30 décembre 2003). Environ 20 000 spectateurs assistèrent à cette performance. Ils étaient censés prendre ensuite une année de repos bien méritée pour se consacrer à la composition du prochain album, mais ils firent plutôt une tournée en France suivie d'un été de festivals au Québec. Ces deux tournées étant maintenant terminées, ils sont présentement dans cette pause retardée et travaillent à la composition de leur sixième album, qui paraîtra en 2008.
Le 18 août 2007, le batteur Dominique Lebeau annonce aux autres membres du groupe et à la compagnie de disques, par le biais d'une lettre, son retrait définitif du groupe. Le public et les fans le sauront le 22 août 2007. Il justifie son départ par des raisons personnelles qu'il préfère taire. La journée même de cette annonce, d'innombrables fans postent leurs réactions à cette triste nouvelle sur le forum de discussion du groupe. Tous souhaitent bonne chance à l'ancien batteur dans ses projets à venir, tout en témoignant leur tristesse et déclarant qu'"Un drummer ça se remplace, mais pas un domlebo.". Le groupe déclare que le batteur ne sera pas remplacé et qu'ils poursuivront leur carrière musicale en tant que quatuor, embauchant parfois des batteurs occasionnels, à la manière des deux cuivristes qui les accompagnent en spectacle.
