Замок Кастельхольм впервые упоминается в летописях в 1388 г. как "Дом Кастельхольм". Точная дата основания замка, однако, неизвестна. С конца XV века замок был административным центром архипелага и играл важную стратегическую роль, а также был охотничьим замком шведской королевы.
В нынешнем облике замок представляет собой сложный архитектурный комплекс, строившийся и расширявшийся в период с конца XIV до середины XVII вв. В 1745 году в замке произошел разрушительный пожар. Лишь в ХХ веке его отреставрировали и открыли для посещения.
Рядом с замком открыты два музея. Один – Музей Государственной тюрьмы Вита-Бьерн, находящийся в старинном здании тюрьмы. Втоой – Музей под открытым небом Яна Карлсгордена, где можно осмотреть более двадцати традиционных Аландских домов и мельниц XIX века. На старинном постоялом дворе посетителей угощают национальными блюдами.