İlçe merkezinin güneyini kapsayan Hacıkayası üzerinde, ilçe merkezine hâkim bir konumda kurulu olan kale iç ve dış olmak üzere iki kısımdan oluşmaktadır. Yazılı kaynaklarda, kalenin Roma Dönemi ve öncesinde kullanılmış olduğu, 12. yüzyılda kaleye eklemeler yapıldığı, günümüzde görülen surların ve girişinin Selçuklu ve Osmanlı dönemlerinde yapıldığı belirtilmektedir. Yığma yapım sistemiyle inşa edilen yapıda taş malzeme kullanılmıştır. Dış kalenin giriş kapısının iki yanında yarım daire planlı iki adet kule bulunmaktadır. Selçuklu Kapısı olarak anılan bu kapı, yonu taş malzeme ile inşa edilmiştir. Dış kalenin kuzey kuzeybatısında yer alan burç, yazılı kaynaklarda Kızlar Kalesi olarak anılmaktadır. Dış kale içerisinde farklı boyutlarda yapı kalıntıları mevcuttur. İç kale, sekizgen bir kule ve onu çevreleyen dikdörtgen bir avludan oluşmaktadır. Kuleye kemerli bir kapıdan girilmektedir. Sekizgen planlı kule dört katlıdır. Girişi basık kemerli olan kulenin inşasında kesme taş ve moloz taş kullanılmıştır.