Organisasi pengajian Jam’iyyatul Islamiyah (JmI) pertama kali didirikan pada hari Jumat 12 Maret 1971 bertepatan dengan 14 Muharram 1391 H di Sungai Penuh Kerinci atas prakarsa Buya K.H.A. Karim Djamak dengan Mayor Min Harafat. Pendirian organisasi pengajian ini didukung oleh tokoh ulama Kerinci Buya K.H. Amir Usman yang menyadari pentingnya wadah pembinaan dan pengembangan usaha dakwah Islamiyah. Sejak awal berdiri hingga saat ini, Jam’iyyatul Islamiyah (JmI) merupakan organisasi non-politis yang fokus pada kegiatan dakwah Islam. Sebagai pendiri utama Jam’iyyatul Islamiyah, Buya K.H.A. Karim Djamak memiliki dua kapasitas, yaitu sebagai pemangku adat sekaligus tokoh agama (ulama) di Kerinci. Buya K.H.A. Karim Djamak mendapatkan gelar kehormatan adat pada saat usia Beliau 20 tahun (1926), dengan gelar: “Timo Daharo Tunggak Nagari Mandopo Rawang Koto Teluk Tiang Agama Sakti Alam Kerinci“. Dalam kapasitas inilah, Buya K.H.A. Karim Djamak ditempatkan sebagai Pembina Tunggal Jam’iyyatul Islamiyah. Buya K.H.A. Karim Djamak wafat di Jakarta pada tanggal 28 April 1996 dalam usia 90 tahun dan dikebumikan di Kerinci.

Sejak berdiri pada tahun 1971 hingga 2018, Jam’iyyatul Islamiyah telah menyelenggarakan enam (6) kali Muktamar Luar Biasa (MLB) sebagai forum tertingi organisasi. Muktamar Luar Biasa I dilaksanakan pada tanggal 17 Agustus 1986 di Sungai Penuh, Kabupaten Kerinci. Muktamar tersebut menetapkan komposisi dan personalia Dewan Pimpinan Pusat Jam’iyyatul Islamiyah yang berdomisili di Ibu Kota Negara RI, Jakarta, serta Program Umum Jam’iyyatul Islamiyah. Pada muktamar pertama ini juga ditetapkan Anggaran Dasar (AD) dan Anggaran Rumah Tangga (ART) Jam’iyyatul Islamiyah berdasarkan keputusan Nomor: 03/MLB-I/J.I/1986 tanggal 17 Agustus 1986 (10 Zulhijjah 1405 H). AD/ART Jam’iyyatul Islamiyah bersesuaian dengan Undang-Undang Nomor 8 Tahun 1985 tentang Organisasi Kemasyarakatan yang berdasarkan Pancasila dan Undang-Undang Dasar 1945 untuk turut serta berperan aktif dalam pembangunan nasional mengisi kemerdekaan.

Muktamar Luar Biasa II Jam’iyyatul Islamiyah diselenggarakan di Pondok Gede, Jakarta Timur, pada tanggal 31 Juli s/d 1 Agustus 1993. Muktamar II mengusung tema: “Dengan Dakwah Pembangunan Jam’iyyatul Islamiyah Turut Memantapkan Pembangunan Jangka Panjang Tahap II Sebagai Pengamalan Pancasila.“ Pada muktamar kedua ini AD/ART Jam’iyyatul Islamiyah mengalami penyempurnaan. Muktamar kedua juga membahas aturan-aturan dan struktur organisasi serta penegasan bahwa Jam’iyyatul Islamiyah adalah organisasi sosial-keagamaan non-politis yang bergerak di bidang Dakwah Islamiyah. Muktamar kedua mengukuhkan Buya K.H.A. Karim Djamak sebagai Pembina Tunggal Jam’iyyatul Islamiyah, K.H. Moh Tarmoedji sebagai Pelindung Tunggal Jam’iyyatul Islamiyah, dan K.H. Ahmad Thohir Widjaja diangkat sebagai Penasehat Tunggal Jam’iyyatul Islamiyah. Adapun struktur kepengurusan organisasinya saat itu, terbagi atas: (1) organisasi tingkat pusat yang dilaksanakan oleh Dewan Pimpinan Pusat (DPP); (2) organisasi Daerah Tk. I dan Daerah Tk. II oleh Dewan Pimpinan Daerah (DPD) Tk. I dan II; (3) organisasi tingkat kecamatan dan desa yang dilaksanakan oleh Dewan Pimpinan Cabang (DPC) dan Ranting. Pada Muktamar II juga disepakati lambang Organisasi Jam’iyyatul Islamiyah.

Selanjutnya, Muktamar Luar Biasa III Jam’iyyatul Islamiyah dilaksanakan di Kota Batam pada tanggal 22-23 Agustus 2003. Tujuan Muktamar III antara lain: pertama, menyempurnakan AD/ART Jam’iyyatul Islamiyah agar dapat menyesuaikan diri dengan derap langkah reformasi di berbagai bidang kehidupan berbangsa dan bernegara di Indonesia; kedua, menetapkan dan mengesahkan Program Umum Jam’iyyatul Islamiyah Masa Bakti 2003-2008; ketiga, memantapkan serta mengesahkan penggunaan beberapa atribut organisasi Jam’iyyatul Islamiyah. MLB III juga menetapkan keputusan-keputusan penting di antaranya:

1. Peran 4 Pilar Kebangsaan Bagi Bangsa dan Negara Indonesia “Empat pilar” yang menjadi dasar dalam membangun bangsa Indonesia saat ini dan masa depan adalah Pancasila, Undang-Undang Dasar Negara Republik Indonesia Tahun 1945, Negara Kesatuan Republik Indonesia (NKRI), dan Bhinneka Tunggal Ika.
2. Menegaskan tujuan Jam’iyyatul Islamiah untuk meningkatkan keimanan dan ketakwaan umat Islam kepada Allah dan Rasul-Nya serta ikrar dan amal; dan membangun mental-spiritual manusia dengan landasan Iman, Islam, Tauhid, Makrifat.

Muktamar Luar Biasa IV Jam’iyyatul Islamiyah dilaksanakan pada tanggal 19 Oktober 2006 di Bekasi. Ada empat hal penting dihasilkan dari muktamar ini. Pertama, penyempurnaan AD/ART yang dituangkan dalam keputusan Nomor: I/Muktamar LBJm/2006. Kedua, penyusunan buku Pedoman Jam’iyyatul Islamiyah. Buku pedoman tersebut rampung disusun pada tahun 2008, kemudian disempurnakan lagi pada tahun 2009 dan 2010. Buku Pedoman Jam’iyyatul Islamiyah Tahun 2010 mendapatkan kata pengantar dari Majelis Ulama Indonesia (MUI) Provinsi Sumatera Barat. Ketiga, restrukturisasi organisasi dengan masuknya tokoh-tokoh terkemuka yang diakui pengetahuan ilmunya dan pengamalan agamanya ke dalam Jam’iyyatul Islamiyah. Keempat, keterbukaan dari warga Jam’iyyatul Islamiyah untuk dapat selaras dan seiring dengan kebijakan pemerintah.

Muktamar Luar Biasa V Jam’iyyatul Islamiyah dilaksanakan pada tanggal 11 Januari 2013 di Makassar, Sulawesi Selatan. Selanjutnya, Muktamar Luar Biasa VI Jam’iyyatul Islamiyah dilaksanakan pada tanggal 2 Oktober 2018 di Medan, Sumatra Utara. Salah satu keputusan Muktamar VI adalah perubahan Anggaran Dasar dengan penambahan dua bab dan pasal baru tentang “Mekanisme Penyelesaian Sengketa Organisasi dan Pengawasan Internal Organisasi”. Dalam AD/ART ditegaskan bahwa Jam’iyyatul Islamiyah adalah organisasi kemasyarakatan yang bergerak dalam bidang pengajian, bersifat non-politis, berfungsi sebagai wadah pembinaan dan pengembangan usaha Dakwah Islamiyah yang bersumber pada al-Qur’an dan al-Hadis. Organisasi ini bergerak dalam bidang dakwah Islamiyah yang bersifat terbuka dan berfungsi sebagai wadah pembinaan dan pengembangan usaha dakwah Islamiyah.

Dalam perjalanan kelembagaan, Jam’iyyatul Islamiyah juga menyesuaikan diri dengan regulasi negara. Organisasi Jam’iyyatul Islamiyah telah terdaftar secara resmi di Departemen Dalam Negeri RI sejak 19 Mei 1987 melalui Surat Keterangan Terdaftar (SKT) Nomor 220/110, sesuai amanat Undang-Undang Ormas Nomor 8 Tahun 1985. Pendaftaran ulang dilaksanakan pada 5 Agustus 1994 dengan Nomor Urut 20, dan secara berkala Jam’iyyatul Islamiyah terus memperbarui legalitasnya hingga SKT terakhir yang berlaku sampai 10 Desember 2023.

Tonggak sejarah baru dicapai pada tahun 2024. Untuk memperkuat eksistensinya dalam sistem hukum Indonesia, Jam’iyyatul Islamiyah resmi memperoleh status badan hukum. Berdasarkan Keputusan Menteri Hukum dan HAM Republik Indonesia No. AHU-0002568.AH.01.07 tanggal 20 Maret 2024, Jam’iyyatul Islamiyah kini terdaftar sebagai badan hukum di bawah naungan Kementerian Hukum dan HAM dengan nama resmi Perkumpulan Pengajian Jam’iyyatul Islamiyah.

Legalitas ini menjadi bukti bahwa Jam’iyyatul Islamiyah tidak hanya memiliki akar sejarah yang kuat, tetapi juga terus bertransformasi dan beradaptasi dengan perkembangan zaman. Dari sebuah gerakan pengajian sederhana di Kerinci, Jam’iyyatul Islamiyah kini menapaki jalan panjang menuju organisasi dakwah yang terstruktur, terdaftar, dan sah secara hukum, tanpa meninggalkan ruh perjuangan spiritualnya.