Les remparts actuels semblent remonter au 12ème siècle, Philippe-Auguste les achevant, probablement le long de la rivière ; ils furent très remaniés jusqu'au 17ème siècle. On a pu compter jusqu'à 44 tours le long d'un périmètre de 2800 mètres.
Sous Henri II et III, le système de fortification fut amélioré, c'est à cette époque que doivent dater le tunnel du 21 rue des Domeliers ainsi que le bastion du Parc de Songeons : la frontière s'étant éloignée depuis 1678 et les invasions n'étant plus redoutées, les remparts furent déclassés sous Louis XV et les fossés bouchés.
D'ailleurs le roi fit reconstruire le château sur les remparts même qui furent largement percés pour les avenues.
Le secteur le long de l'Oise et toutes les portes sauf la porte Chapelle disparurent.
Les courtines du jardin des remparts (les seules encore publiques) subsistent et offrent actuellement de belles ballades.