Pondok Pesantren Mamba'us Sholihin dirintis oleh ayahanda KH. Masbuhin Faqih, yaitu Al Maghfurlah Al Mukarrom KH. Abdullah Faqih Suci sekitar tahun 1969 yang pada mulanya berupa surau kecil untuk mengaji AI-Qur’an dan Kitab Kuning di lingkungan desa Suci dan sekitarnya.
Pada tahun 1976 Al Mukarram KH. Masbuhin Faqih (putra pertama KH. Abdullah Faqih Suci) yang baru mendapatkan restu dari Al Mukkarrom KH. Abdullah Faqih Langitan untuk berjuang di tengah masyarakat, namun beliau masih mempertimbangkan kembali untuk mendirikan sebuah Pesantren, meskipun pada saat itu semangat beliau untuk mendirikan Pesantren sangat besar. Hal ini didasari oleh perasaan khawatir beliau akan timbulnya nafsu (hubb Talamidz), karena mendirikan pondok harus benar-benar didasari oleh ketulusan hati untuk Nasrul Ilmi (untuk menegakkan Agama Allah), bukan atas dorongan nafsu, apalagi punya keinginan mendapatkan santri yang banyak.
Berkat dorongan dari guru-guru beliau yaitu KH. Abdul Hadi Zahid, KH. Abdullah Faqih Langitan, KH. Abdul Hamid Pasuruan, KH. Usman Al-Ishaqi, serta keinginan luhur beliau untuk Nasrul Ilmi, maka didirikanlah sebuah pesantren yang kelak bernama Mamba'us Sholihin. Adapun dana pertama kali yang digunakan untuk membangun pondok adalah pemberian guru beliau, KH. Abdullah Faqih Langitan. Pada saat pendirian Pesantren, KH. Masbuhin Faqih masih menimba serta mendalami ilmu di Pondok Pesantren Langitan.
Sebelum Pesantren Mamba'us Sholihin didirikan, Al Mukarrom KH. Abdullah Faqih Langitan sempat mengunjungi lokasi yang akan digunakan untuk membangun Pesantren. Setelah beliau mengelilingi tanah tersebut, beliau berkata kepada KH. Masbuhin Faqih, “Yo wis tanah iki pancen cocok kanggo pondok, mulo ndang cepet bangunen”.("Ya sudah, tanah ini memang cocok untuk dibangun pondok pesantren, maka dari itu cepat bangunlah"). Tidak lama kemudian beberapa Masyayikh dan Habaib juga berkunjung ke lokasi tersebut,. Diantara Habaib dan Masyayikh yang hadir yaitu KH. Abdul Hamid (Pasuruan), KH. Usman Al-Ishaqi (Surabaya), KH. Dimyati Rois (Kaliwungu), Habib Al Idrus dan Habib Macan dari Pasuruan.
Pada tahun 1402 H atau tepatnya pada tahun 1983 M, barulah dilakukan pembangunan Musholla Pondok Pesantren Mambaus Sholihin (sekarang merupakan Pondok Barat). Saat itu KH. Masbuhin Faqih sedang menunaikan lbadah haji yang pertama. Adapun yang menjadi modal awal pembangunan ini berasal dari materi yang dititipkan kepada adik kandung beliau (KH. Asfihani Faqih) yang nyantri di Pondok Pesantren Romo KH. Abdul Hamid Pasuruan.
Pada saat itu KH. Asfihani Faqih turun dari tangga sehabis mengajar, tiba tiba ada seseorang yang tidak dikenal memberikan sekantong uang, kemudian beliau pergi dan menghilang. Pada pagi harinya KH. Asfihani di panggil oleh KH. Abdul Hamid Pasuruan, beliau berkata “Asfihani saya ini pernah berjanji untuk rnenyumbang pembangunan rumah santri (jama’ah) tapi hari ini saya tidak punya uang, Yai silihono dhuwit opo'o nak !”. kemudian KH. Asfihani menjawab "saya tadi malam habis mengajar di beri orang sekantong uang, dan saya tidak kenal orang tersebut”. KH. Abdul Hamid berkata “ Endi saiki dhuwite ndang ayo di itung”. Lalu KH. Asfihani mengambil uang tersebut dan dihitung sebanyak Rp. 750.000,-. Yang pada akhirnya KH. Abdul Hamid Pasuruan memberi isyarat, bahwa yang memberikan uang tersebut adalah Nabiyullah Khaidir AS (Abul Abbas Balya bin Malkan), kemudian KH. Abdul Hamid Pasuruan berkata pada KH. Asfihani “Nak, saiki muliyo. Dhuwit iki ke’no abahmu kongkon bangun Musholla”.
Suatu kisah yang tak kalah menarik, adalah saat Pondok induk dalam taraf penyelesaian pembangunan, Hadrotus Syaikh KH Abdul Hamid Pasuruan datang dan memberi sebuah lampu Neon 40 Watt 220 Volt untuk penerangan Pondok Pesantren Mamba’us Sholihin. Padahal saat itu listrik belum masuk desa Suci. Mengingat yang memberi termasuk kekasih Allah, maka Pengasuh Pesantren yakin bahwasannya ini merupakan sebuah isyarat akan hadirnya sesuatu. Dan ternyata tidak berselang lama, tepatnya pada tahun 1976, masuklah aliran listrik ke desa Suci, dan rupanya Neon ini merupakan isyarah akan tujuan pondok pesantren Mambaus Sholihin.
Pada pembangunan Tahap selanjutnya, KH. Agus Ali Masyhuri (Tulangan Sidoarjo) membeli sepetak tanah yang baru diberinya dari salah seorang anggota Darul Hadits, yang kemudian tanah yang terletak disebelah Masjid Jami' Suci "Roudhotus Salam" itu menjadi bakal dari Pesantren Putra Mamba'us Sholihin.