Disebut dalam kisah berdirinya Kerajaan Mataram, konon keberadaanya tidak bisa dilepaskan dari nama Kiai Ageng Pemanahan yang bergelar Kiai Ageng Mataram. Nama Mataram merupakan nama suatu daerah yang dihadiahkan kepada Kiai Ageng Pemanahan oleh Sultan Hadiwijoyo penguasa Kerajaan Pajang waktu itu atas jasanya membunuh Adipati Aryo Penangsang pada tahun 1527 M di Jipang Panolan.
Kiai Ageng Pemanahan selanjutnya minta izin kepada sultan untuk menempati daerah Mataram tersebut. Sul tan Hadiwijoyo menyanggupi dengan syarat harus merawat gadis pingitan dari Kalinyamat. Apabila gadis itu sudah dewasa harus dibawa masuk ke Keraton Pajang.
Setelah berpamitan dengan Sultan Hadiwijoyo, berangkatlah Kiai Ageng Pemanahan dengan diikuti putra sultan, Hangabehi Loring Pasar, sang menantu Dadap Tulis, Tumenggung Mayang, serta Nyi Ageng Nis dan juga Kiai Ageng Jurumartani.
Singkat cerita, rombongan tersebut sampai di suatu desa yang bemama Wiyoro. Kemudian, Kiai Ageng mencari pohonberinginyang sengaja ditanam untuk tetenger oleh Sunan Kalijogo. Tepat di sebelah selatan pohon tersebut didirikan padepokan untuk tempat tinggal dirinya dan keluarga yang mengikutinya. Lambat laun desa tersebut menjadi ramai. Banyak orang berdatangan di desa ini untuk bermukim Desa inilah yang akhirnya diberi nama Mataram atau Kotogede sebagai pusat pemerintahan Kerajaan Islam Mataram yang pertama.
Kemegahan dan keagungan Kerajaan Mataram sampai kini masih dapat disaksikan melalui bangunan-bangunan prasasti yang ditinggal- kan. Salah satu bangunan tersebut adalah Masjid Mataram. Masjid ini bersebelahan dengan makam raja-raja Mataram.
Masjid ini tidak diketahui kapan dibangunnya. Menurut ke- terangan-keterangan yang ada, masjid ini dibangun sejak berdirinya Kerajaan Mataram di bawah pemerintahan Kiai Ageng Mataram. Ia wafat pada hari Senin Pon 27 Ruwah (Sya’ban) tahun 1535.
Masjid ini sampai sekarang masih dilestarikan keberadaannya. Bahkan, makam dan masjid ini dijadikan obyek wisata, baik bagi wisatawan dalam negeri maupun luar negeri. Menurut penuturan Bapak Yuwono, sesepuh, disebutkan bahwa masjid ini pemah roboh akibat gempa bumi. Bangunan tersebut tidak seluruhnya roboh, hanya bagian serambi yang paling parah. Menurut penanggalan dalam bahasa Jawa kuno disebutkan masjid dan serambi tersebut dapat pulih kembali sekitar tahual796 oleh penguasa Kerajaan Mataram masa itu.
Konon, mimbar masjid yang berada di Masjid Mataram tersebut berasal dari Palembang. Mimbar tersebut diberikan oleh Adipati Palembang kepada Sinuwun Hanyokrokusumo atau Sultan Agung sebagai upeti rasa tunduk kepada Kerajaan Mataram. Hadiah tersebut diberikan pada waktu Sinuwun selesai melakukan shalat Jumat di Mekah. Mimbar tersebut terbuat dari kayu wrungle. Kayu ini juga menjadi cungkup pada makam Panembahan Senopati di makam Pajimatan Imogiri, Yogyakarta.
Adapun beduk yang berada di dalam masjid tersebut diceritakan, pada masa pembuatarmya dilakukan secara gotong royong oleh rakyat, khususnya kaum pria. Setelah beduk tersebut selesai maka diangkat untuk dimasukan ke dalam masjid. Konon, beduk itu tidak dapat diangkat dan masuk ke dalam masjid, walaupun tenaga yang mengangkat bertambah banyak.
Syahdan, datanglah seorang perempuan yang entah dari mana datangnya, menawarkan diri untuk mengangkat dan memasukkan beduk tersebut ke dalam masjid. Tanpa dibantu oleh seorang pun perempuan misterius itu dapat mengangkat dan memasukkan beduk tersebut ke dalam masjid. Setelah meninggal, perempuan misterius itu dimakamkan bersebelahan dengan bangunan Masjid Mataram.
