Cumhuriyet’in ilk yıllarında Afyonkarahisar’da kurulan Asar-ı Atika Muhipleri Cemiyeti’nin çabalarıyla Taş Medrese’de eski eserler toplanmaya başlanmış, 1931 yılında resmi “Müze Deposu”, 1933 yılında ise Müze Müdürlüğü haline gelmiştir. 1933 yılından 1970 yılına kadar Taş Medrese’de karma müze (Arkeoloji ve Etnoğrafya) olarak hizmet veren kurum, 1971 yılında ikinci hizmet binasına taşınmıştır. 18.04.2023 tarihinde ise bugünkü müze binası hizmete açılmıştır. Müzenin kapalı teşhiri 5 katlı olup katlarda kronolojik olarak Kalkolitik, Tunç, Hitit, Frig, Lidya, Pers, Hellenistik Roma, Bizans, Selçuklu, Osmanlı ve Erken Cumhuriyet dönemlerine ait eserler sergilenmektedir. Bu dönemlere ait pişmiş toprak, taş mermer, kemik, cam, metal kap kacak, heykel ve sikke gibi araç ve gereçler, yöre insanın, MÖ.3000’li yıllardan günümüze kadar yaşayışı, inancı, üretimi, ticareti hakkında bize oldukça önemli bilgiler vermektedir. Ayrıca günümüzdeki önemi nedeniyle sanayi haline gelmiş mermer ticareti ve sanatı ile ilgili bilgi veren mermer heykeller, lahitler, mezar taşları ve mimari parçalar, müzenin önemini artırmaktadır. Canlandırmalar, realistik mankenler ve multimedya ile desteklenen müze teşhiri oldukça zengindir. Müzenin 5. Katı Kurtuluş Savaşı temasına sahiptir. Müzenin bahçesinde ise Roma ve Bizans dönemine ait mezar stelleri, lahitler, küpler, heykeller ile Osmanlı dönemlerine ait mezar taşları sergilenmektedir.