Центр культуры и изобразительных искусств Хабнарборг был основан в 1983-м году. Учредителями музея были Сверрир Магнуссон и его жена Ингибьорг Сигурйонсдоттир.

Изначально здание было спроектировано для химика Сорена Кампманна, который жил и работал в нём до 1947-го года. Магнуссон вступил во владение объектом и создал там собственный музей, которым руководил в течение 37-ми лет. 1 июня 1983 года семейство преподнесло городу дар в виде подарочного сертификата на здание и обширную коллекцию произведений искусства и книг. В нём указывалось, что дом должен быть местом культурной деятельности и развития жизни города посредством размещения художественного музея, выставочных залов и резиденции художника, а также места для проведения концертов.

Центр культуры и изобразительных искусств, был официально открыт 21 мая 1988 года. К тому времени здание было достроено и перепроектировано архитектором Ингимаром Х. Ингимарссоном. Официальной миссией Хабнарборга является поддерживание культурных функций жизни города. Музей хранит коллекцию произведений искусства Хабнарфьордюра, отвечает за исследования и выставки собрания, а также следит за тем, чтобы это наследие продолжало оставаться важной частью истории исландской культуры и искусства. Кроме того, музей занимается организацией международного проекта для художников, желающих творить свои произведения на территории музея.

Программа выставок в Хабнарборге разнообразна. В музее ежегодно проводится 10–12 художественных выставок, на которых представлены работы, значимые для истории исландского искусства: от картин его родоначальников до экспериментальных работ современных художников. В Хабнарборге регулярно проводятся лекции и семинары, связанные с музейными экспозициями. Учреждение стремится вести открытый диалог со своими посетителями, художниками и кураторами, чтобы сделать музей более динамичным и интересным. В нём проводятся также регулярные семинары и экскурсии для детей и раз в месяц - ланч-концерт с акцентом на классическую музыку.

Музей старается вносить весомый вклад в позитивный имидж города и самобытность его жителей. Выставки и события, согласно его миссии, должны отражать современные тенденции и движения, продвигать самые значимые работы и события. Целенаправленное музейное образование охватывает учащихся всех уровней; Хабнарборг поддерживает динамичное сотрудничество с художниками, музеями и другими культурными учреждениями в Исландии и за рубежом.