Encaramado en un acantilado a 130 metros sobre el nivel del mar que domina Cartago y el golfo de Túnez, Sidi Bou Saïd lleva el nombre de un santo: Sidi Bou Saïd. Los cartagineses púnicos y luego los romanos ya estaban presentes en esta zona, que en la antigüedad recibía el sobrenombre de Cap Carthagena (promontorio de Cartago). Tras la conquista árabe en el siglo VII y la caída de Cartago, el promontorio conservó su posición estratégica, con la construcción de torres de vigilancia y un faro para defender la costa noreste de Túnez. Esto explica el nombre de la colina sobre la que se asienta Sidi Bou Saïd: Djebel El Manar ("Montaña del Faro"). En cuanto al nombre del pueblo, se trata simplemente de Sidi Bou Saïd (1156-1231), que al final de su vida se retiró a la cima del Djebel El Manar, la colina que domina el cabo Cartago, para montar guardia y enseñar sufismo.
A partir del siglo XVII, el encanto de este pueblo atrajo a la burguesía tunecina y a la familia del bey, que construyeron aquí lujosas mansiones árabe-musulmanas.
El 28 de agosto de 1915, un decreto impuso la prohibición azul y blanca de toda construcción incontrolada en el promontorio, lo que convirtió a Sidi Bou Saïd en el primer sitio catalogado del mundo.
Hasta 1825, Sidi Bou Saïd estuvo vedado a los no musulmanes. Desde entonces, el pueblo azul y blanco atrajo a numerosos artistas, músicos y escritores, como Chateaubriand, Gustave Flaubert, Paul Klee, August Macke, Alphonse de Lamartine, Georges Duhamel, André Gide, Colette y Simone de Beauvoir. Michel Foucault escribió L'Archéologie du savoir.