Музей размещен в бывшем здании мукомольных складов - одном из старинных купеческих торговых сооружений. Искусная кирпичная кладка и декоративное оформление внешних стен позволяют хорошо вписаться этому зданию в архитектурный ансамбль центра, сложившийся в 19 в. Художественный отдел был открыт в декабре 1981 года – накануне 40-й годовщины освобождения Ельца от немецко-фашистских захватчиков. В настоящее время в нем представлены живопись, графика, скульптура, предметы прикладного искусства: фарфор русских и зарубежных заводов, изделия из цветного стекла, художественная мебель. Постоянная экспозиция размещена в 3 залах, 2 зала отведены под сменные экспозиции, где постоянно проводятся выставки работ профессиональных и самодеятельных художников, фотовыставки, выставки из фондов краеведческого музея.