Кастельсардо був заснований в 1102 лігурійської династією Дорія і спочатку називався «Кастель Дженовезе». При кожному новому завоюванні це місто змінювало своє ім'я. У 1148 році іспанці, що захопили його, перейменували його в «Кастель Арагонезі».

Своє сучасне ім'я Кастельсардо отримав 1769 року, коли він перейшов під контроль Савойської династії. Місто височіє на скелястому мисі над морем. Його старий квартал називається Читтаделла, або Кастедду - це справжній лабіринт вузьких вуличок.

Єпархіальний музей церковного мистецтва знаходиться під міським собором, у криптах старовинної романської церкви, на місці якої потім з'явилася церква Сант-Антоніо-Абаті. Ці приміщення було відреставровано та обладнано під музейні зали. Тут можна помилуватися старовинними меблями та предметами церковного вжитку собору. У скарбниці музею представлені предмети зі срібла, вівтарні хрести епохи бароко, кадила, дарохоронниці, богослужбові шати, митри та свічники. Безцінними є дерев'яні статуї ломбардо-емільянської школи, такі як Мадонна ді Саласджу та святий, на честь якого названа церква. Також тут можна побачити картини Маестро ді Кастельсардо, які колись прикрашали вівтар собору. Йдеться про «Святого Михайла», «Трійцю» та «Чотири апостоли», написані на золотому тлі в неповторному стилі художника, який безпомилково вгадується за контрастом між об'ємними ликами святих і декораціями фону.

Замок Кастельсардо  був побудований династією Дорія на вершині скелі над містом. Стіни та споруди замку добре збереглися, оскільки він знаходиться досить далеко від моря. В даний час в замку знаходиться Музей торговельних шляхів середземномор'я, один із найбільших на Сардинії. З терас біля стін замку відкриваються чарівні панорами на північне узбережжя та острів Азінара; у ясну погоду можна навіть розглянути південний берег Корсики. За часів могутності Дорія замок був центром їхніх володінь. Дозорні вежі стояли аж до середини XIX століття, але після обвалення їх не стали відновлювати. Усередині замку збереглися тунелі для варти та бастіони: східний називається «Беллавіcта», північний – «Манганело», південно-східні, добудовані в XVI столітті арагонцями, – «Лоджетта» та «Спероне».

Собор Сант'Антоніо Абате з'явився в 1503 р. і в ньому знаходиться одне з найцінніших ретабло Сардинії, виконане Маестро ді Кастельсардо. Робота датується 1492 року і складається з 4-х картин, написаних темперою і маслом на дереві поверх золотого фону. Техніка свідчить про володіння художником фламандською манерою живопису, яка приділяла світлу першорядне значення. Цікаво й те, як художнику вдалося поєднати нову перспективу епохи Відродження з обмеженнями готичного формату ретабло. Зверніть увагу також на безцінні вівтарі XVIII століття, вирізані з ялівцю.

Берегова лінія Кастельсардо складається з трахітових порід, тому береги скелясті та вертикальні. Серед них проте зустрічаються бухти з піщаними пляжами:  Кала Остіна на сході і Пунта Трамонтана на заході. Піщані пляжі можна знайти також у Марінедді, Марині та містечку Лу Баньу. Ледве за межами Кастельсардо, на сході, знаходяться пляжі Бадезі. Якщо проїхати ще трохи, можна знайти рівний берег навпроти острівця Азінара. Тут знаходяться містечка Муддідза та Коста Парадізо.