Masjid memang kerapkali menjadi saksibisu terhadap perjuangan orang-orang Islam dalam menyiarkan agama Islam. Dengan demikian, masjid selalu menyimpan sejarah masa lampau. Begitu pula dengan Masjid Raya Rengat Sumatra Utara. Masjid yang didirikan oleh Sultan Salehuddin Keramatsyah hingga kini sudah berusia 203 tahun.
Sultan Salehuddin merupakan sultan Kerajaan Indragiri yang ke- 16. Sebelum naik takhta, ia bemama Raja Hasan yang mulai berkuasa tahun 1735. Oleh karena Sultan Salehuddin dikenal seorang yang taat beragama, setelah meninggal oleh masyarakat dikeramatkan sehingga namanya menjadi Sultan Salehuddin Keramatsyah.
Ia mempunyai tiga orang anak. Anak tertua mendapat gelar Raja Kecik Besar Mambang. Ketaatannya dalam beragama seperti ayahnya. Karena itu, ia ingin mengembangkan agama Islam sampai di Daik (sekarang daerah kepulauan Riau). Oleh sebab itu pula, saat ia menjadi sultan di Kerajaan Indragiri, hanya beberapa tahun saja. Ia lebih senang menjadi penyebar agama Islam daripada menjadi raja, sehingga ia menyerahkan mahkota kerajaan kepada adiknya, Raja Ibrahim, yang waktu itu menjabat Panglima Kerajaan Indragiri. Setelah ia memegang tampuk pimpinan Kerajaan Indragiri, namanya menjadi Sultan Ibrahim.
Begitu Sultan Ibrahim menjadi pimpinan tertinggi di Kerajaan indragiri, dia mulai membangun istana yang terletak di daerah Rengat yang kemudian dijadikan ibu kota Kerajaan Indragiri. Maka, mulailah dia mendirikan surau. Saat itu yang menjadi guru dan penyebar agama Kam adalah Sayed Putih Al-Idrus. Pada tahun 1787 M, surau tersebut iirombak menjadi sebuah masjid. Setelah Sultan wafat, ia dimakamkan ialam masjid buatannya. Ketika Kerajaan Indragiri berhadapan dengan penjajah Belanda, masjid ini pun sering dijadikan tempat dalam menyusun kekuatan untuk mengusir Belanda.
Sejak masjid ini berdiri tahun 1787 M hingga 1987, sudah empat kali mengalami perombakan. Masjid yang berukuran 28 m x 27 m, mulanya terbuat dari kayu, kini bangunannya sudah permanen dengan model bangunan nan klasik.
