Le village de Lagrasse est né de son abbaye. A l’époque Carolingienne, l’habitat primitif, installé sur la rive gauche de l’Orbieu, jouxtait le monastère. Ce site correspond à l’actuel cimetière communal où s’élevait aussi la première église paroissiale (disparue). Dans un second temps, cette localité fut transférée à son emplacement actuel, sur la rive droite de l’Orbieu. On peut supposer que ce nouveau bourg fut créé au XIIIe siècle, selon un plan régulier qui semble désigner la fondation « a novo » de la localité.
Etiré le long de la rivière, en face de l’abbaye, cet habitat fut rapidement doté de fortifications sommaires. Lorsque éclata la Guerre de Cent Ans ses défenses avaient été négligées et les fossés réaménagés en jardins. Aussi, l’enceinte fut remaniée et probablement réduite en superficie, entre 1359 et 1361, sur ordre du Sénéchal de Carcassonne. Celle-ci, au tracé vaguement elliptique, était flanquée de tours et d’échauguettes. Le fossé qui entourait l’ensemble, à l’exception de la partie Ouest naturellement défendue par l’Orbieu, a été comblé en 1818. De l’ensemble des fortifications du village subsiste encore quelques vestiges : A l’angle Sud-Ouest du vieux bourg, s’élève la tour de Plaisance ou « Grand Tourreil » (XIIe - XVe siècle). A l’Ouest, la porte de l’Eau ou « Porte de l’Aigue » (XIVe siècle) s’ouvre sous un arc qui a été arasé. Les quatre autres issues qui desservaient le village ont disparu.

Blotti à l’intérieur des remparts, le bourg lui-même, classé parmi les «plus beaux villages de France», constitue un pittoresque ensemble architectural. Ses rues étroites ponctuées de places étriquées, conservent bon nombre de façades du Moyen-âge au XVIIIe siècle. Parmi celles-ci, quelques unes font l’objet d’une protection des Monuments Historiques : la Maison Maynard (XIVe siècle), sur la place de la Halle, la Maison Lautier (XVe siècle), rue des Mazels, la Maison Sibra (XVIe siècle), rue Foy et l’ancien couvent des Soeurs de Nevers (XVIIe siècle), place de la Bouquerie.