Идея создания в Шарлеруа Музея изящных искусств принадлежит Жюлю Дестре. Видный политический деятель, журналист и культуролог, внесший весомый вклад в развитие провинции Эно, считал это полезным для сугубо промышленного региона. Он же заложил основу коллекции музея, куда вошли картины, мебель и посуда XVI-XIX веков. Но прошло еще долгих 70 лет, пока мечта Жюля Дестре осуществилась. Изначально часть коллекции, посвященная валлонскому искусству и различным художественным течениям XIX и XX веков, размещалась на втором этаже городской Ратуши. И только в 1980 году для Музея изящных искусств было построено в центре города отдельное здание, к той поре фонд уже насчитывал более чем 3 тысячи единиц. Посетители отмечают чрезвычайную эклектичность собрания. В экспозиции можно увидеть работы в стиле неоклассицизма, экспрессионизма, постимпрессионизма, сюрреализма, ориентализма и даже соцреализма. Довольно много полотен изображают трудовые будни работников шахт, сталеплавильных предприятий, стекольного производства. Шарлеруа стал в начале века одним из ведущих промышленных центров Бельгии и как раз о том, что рабочий класс будет запечатлен на полотнах, мечтал Жюль Дестре. Кроме картин в музее экспонируются также комиксы и карикатуры (Шарлеруа считается второй после Брюсселя столицей комиксов), скульптуры (Константин Менье), утварь и ткани. Есть в музее и несколько работ знаменитого сюрреалиста, бельгийского художника Рене Магритта.

Дворец изящных искусств является не только местом хранения и экспонирования художественных коллекций, но также полноценным городским культурным центром, где проводятся лекции и мастер-классы. Городской театр также работает в здании музея. Ограниченное выставочное пространство не позволяет продемонстрировать всю коллекцию, поэтому здесь часто проходят временные тематические выставки. Часть экспозиции по-прежнему остается в Ратуше и сейчас, к сожалению, недоступна для осмотра.

Чтобы объединить все фонды, в настоящее время разработан проект реконструкции бывших конюшен (где содержали и разводили знаменитых бельгийских тяжеловозов) рядом с Полицейской башней, но дата переезда пока неизвестна.