Madrasah Tsanawiyah Negeri 4 berdiri sejak 1980, sebagai pengganti dari sekolah Pendidikan Guru Agama 4 tahun, berdasarkan surat keputusan Direktur Jendral Pembinaan Kelembagaan Agama Islam Nomor: Kep/E.11/73/1980.

Dalam perjalanannya, MTs Negeri 4 semula berlokasi di Yayasan Sa’adatud-darain, Jl. Raya Lenteng Agung, Tanjung Barat, Pasar Minggu Jakarta Selatan di bawah pimpinan K.H. Abdurrazak (alm) Kepala MTs Negeri 4 pertama.

Di bawah kepemimpinannya lembaga ini mengalami masa-masa sulit dalam mencari identitas diri dan tempat yang definitif sebagai lembaga pendidikan menengah pertama yang berciri khas Islam. Namun demikian selama itu pula lembaga ini mampu menghasilkan calon- calon penerus bangsa yang berkualitas dan mampu bersaing di lembaga setingkat lebih tinggi di atasnya.

Pada tahun 1984 dari hasil perjuangannya yang cukup gigih MTs Negeri 4 memperoleh sebidang tanah di jalan Yon Zikon 14 Srengseng Sawah Jagakarsa (dahulu Pasar Minggu) Jakarta Selatan. Di sini mulai dibangun empat lokal sederhana yang kemudian berkembang dari satu periode kepemimpinan hingga akhir periode 2001/2002 menjadi 19 lokal dengan luas bangunan 1450 m2 dan luas tanah + 3324 m2.

Dengan dana APBN 2003-2004 MTs Negeri 4 berdiri megah dengan 27 lokal baru dan 4 lokal lama dengan luas bangunan 2455 m2. Selain gedung pendidikan berdiri sebuah masjid berukuran 20 x 20 m2 yang dibangun dengan dana swadaya orang tua murid dan donatur. Berbagai prestasi mulai di raih baik di bidang akademik maupun di bidang non akademik seperti Juara I Madrasah Berprestasi Se-DKI Tahun 2008-2009, Juara I UKS tingkat Jakarta Selatan, Madrasah Standar Nasional, dan telah bersiap menuju Madrasah Inspiratif.

Kini Berbagai prestasi telah diraih MTs.N4 baik bidang akademik maupun non akademik, salah satunya adalah peringkat I UN se- DKI Tahun 2016-2017 sd 2018 -2019, Juara 1 Lomba KSM bidang IPA, 2019, Juara 1 Lomba Ketangkasan PMR Nsional, 2020, Juara I Olympiade Matematika online 2020, Juara Kompetisi Matematika dan Pendidikan Islam (KOMPI) 2020, hingga Juara Robotik Nasional dan internasional di tahun 2020.