Küçük çarşıda, Güney batısını çevreleyen adi ve ahşap dükkanların arkasındadır. Son zamalarda doğu ve kuzey tarafları açılarak caminin bu iki yönü tertip ve tanzim edilmiştir. Cami Medrese, Sıbyan mektebi ve İmaretten ibaret bulunan bu külliye 1505'ten 1511 senesine kadar Anadolu Eyaiet valisi olarak Kütahyada bulunan Karagöz Ahmet Paşa tarafından 1509'da yaptırılmasına başlanmış ve paşanın âsî ve çapulcu Şahkulu tarafından Kütahya ovasındaki savaşta yakalanarak 1511'de şehid edilmesi üzerine ve vasiyeti mucibince yapılmakta olan Cami, Medrese ve sıbyan mektebi, hanımı İstanbullu (Şahıdevran bintü Abdullah) tarafından tamamlanmış ise de imaret yaptırılamamıştır.

Kitabelerde gördüğümüz (915-1509) tarihi caminin bitimini değil başlamasını anlatmaktadır. Nitekim ilerde göreceğimiz vakfiyenin hazırlanması da külliyenin inşa tarihihine rastlamakta, tahriri ve meriyete girmesi ise 1511 dedir. Şu halde külliyenin ikmal tarihi kesin olarak bilinmemektedir.

Kârgir ve taştan yapılmış olan bu cami, Mimar Sinan'dan önceki Osmanlı mimari tarzının tipik örneklerinden biri ve en güzelidir.

Oniki köşeli üç kasnak üzerine oturtulmuş şahane ve Kütahya camileri kubbelerinin en büyüğü olan bir kubbesi vardır. Kiremitle örtülüdür.