Sekolah ini terletak di sebuah kawasan yang indah menghijau dengan suasana yang damai serta udara segar. Sekolah ini dibina di kawasan lereng bukit yang di teres yang jauhnya kira-kira 800 meter dari jalan besar yang menghubungkan Pekan Kuala Pilah dengan Tampin. Di kawasan kaki bukitnya pula terletak Sekolah Menengah Kebangsaan Tunku Kurshiah dan Sekolah Menengah Kebangsaan Tuanku Muhammad. Di bahagian belakang kawasan sekolah ini terdapat kebun getah dan ladang kelapa sawit.
Sekolah ini dilengkapi dengan segala kemudahan asas. Terdapat 5 buah blok bangunan untuk bilik darjah, makmal, bilik guru dan pejabat, satu blok untuk Perpustakaan, Bilik Komputer dan Sains Rumahtangga, satu blok untuk Bengkel Seni Perusahaan, sebuah dewan, 2 blok asrama untuk pelajar lelaki dan perempuan beserta dewan makannnya, sebuah kantin dan surau.Untuk kemudahan bersukan, sekolah ini juga mempunyai sebuah padang beserta astaka yang sering digunakan untuk sukan MSSDKP dan sukan jabatan-jabatan kerajaan di daerah ini.Diantara padang dengan blok asrama terdapat dua buah padang tenis,sebuah gelanggang sepak takraw dan bola tampar.Sebuah rumah untuk Pengetua juga ada disediakan.
Pelajar-pelajar perintis sekolah ini telah menduduki peperiksaan Sijil Rendah Pelajaranyang pertama bagi sekolah ini pada tahun 1967.Pelajar-pelajar yang berjaya telah dinaikkan ke tingkatan Empat Sastera.Bilangan pelajar bertambah kerana kemasukan pelajar-pelajar aliran Melayu Tingkatan Empat dan Lima yang selama ini menumpang di Sekolah Menengah Tuanku Muhammad dan Sekolah Menengah Tunku Kurshiah.
Pada 1hb.Januari 1968 nama sekolah ini sekali lagi ditukar menjadi Sekolah Menengah Kebangsaan Kuala Pilah.Pada tahun 1968 sekolah ini telah pertama kalinya menyediakan calon-calon untuk menduduki Peperiksaan Sijil Pelajaran Malaysia.
Untuk mewujudkan satu identiti tersendiri adalah dirasakan perlu untuk memberikansatu identiti yang sesuai untuk sekolah ini.Ahli-ahli Lembaga Pengelola Sekolah telah memilih seorang tokoh bahasa dan Nasionalis Melayu yang berasal dari Kuala Pilah sendiri iaitu Pendita Za'ba.Oleh itu dengan persetujuan Kementerian Pelajaran Malaysia, nama sekolah ini telah ditukar kepada Sekolah Menengah Za'ba.
Upacara perasmian dan pengisytiharan nama Sekolah Menengah Za'ba telah dilakukan oleh Yang Berhormat Datuk Haji Abdul Rahman bin Yaakub,Menteri Pelajaran ketika itu, pada 15hb September 1969.Dengan ini nama Sekolah Menengah Za'ba kekal hingga ke hari ini.
Sekolah ini dibuka pada 1 April 1962 dan dikenali dengan nama Sekolah Pelajaran Lanjutan, Kuala Pilah. Sekolah Pelajaran Lanjutan ini menampung pelajar-pelajar yang gagal dalam Peperiksaan Darjah 6.Ketika itu pelajar-pelajar sekolah rendah diwajibkan menduduki Peperiksaan Darjah 6 untuk melayakkan diri naik ke Tingkatan Satu.Oleh itu pelajar-pelajar yang lulus mendapat pangkat A dan B layak meneruskan pelajaran ke Tingkatan Satu.Oleh itu pelajar-pelajar yang gagal dalam peperiksaan itu ditempatkan disekolah ini.Tujuan ditubuhkan sekolah ini ialah untuk membolehkan pelajar-pelajar mempunyai asas-asas kemahiran seperti vokasional,pertukangan dan kerja tangan.Terdapat ,lima buah kelas pelajaran lanjutan ketika ia mula dibuka.Latihan ini dijalankan selama tiga tahun dan pelajar-pelajar diambil di sekitar Kuala Pilah.Setelah pelajar-pelajar ini tamat mereka bolehlah menjalankan kerja sendiri berbekalkan kemahiran yang telah diperolehi.Rancangan pelajaran ini berterusan sehingga 31 Disember ,1964.
Pada 1 Januari 1965, fungsi sekolah ini telah berubah.Ini adalah kerana sistem persekolahan telah berubah kepada Sistem Anika Jurusan di mana peperiksaan Darjah Enam telah dimansuhkan dan pelajar-pelajar dari sekolah rendah naik ke sekolah menengah secara automatik dan meneruskan pelajaran mereka selama tiga tahun lagi.
Nama sekolah ini ditukar menjadi Sekolah Menengah Rendah Kebangsaan Kuala Pilah.Pelajar-pelajarnya datang dari sekolah-sekolah yang berhampiran iaitu Sekolah Kebangsaan Kuala Pilah,Sekolah Kebangsaan Pelangai,Sekolah Kebangsaan Sungai Dua,Sekolah Kebangsaan Senaling ,Sekolah Kebangsaan Juasseh Tengah dan Sekolah Kebangsaan Kepis.Ketika itu sekolah ini terdiri daripada bangunan pentadbiran, kantin, dewan, satu blok bangunan kecil di tapak Bangunan Seni Perusahaan sekarang, blok tingkatan satu dan dua serta makmal.
Pengetua pertama yang ditugaskan di sekolah ini ialah Encik Chan Choong Tak yang kini bergelar Dato' Chan Choong Tak yang memegang jawatan Yang Dipertua Dewan Negara Malaysia.
Terdapat hanya 11 orang guru yang bertugas ketika itu iaitu:-
Tarikh Nama
1. 01.04.1962-31.12.1964 En. Chan Choong Tak
2. 01.05.1965-31.12.1967 En. Yaacob bin Haji Ujang
3. 01.01.1968-31.12.1969 En. Sulaiman b. Md.Zain
4. 01.05.1970-31.12.1970 En. Othman bin Mohd Said, B.A (Hons)
5. 01.05.1971-31.05.1971 En. Mokhtar b. Zakaria,B.A(Hons)
6. 01.06.1971-31.12.1979 En. Abd.Malek b. Mohd Yatim,B.A.(Hons).
7. 01.01.1980-28.02.1986 En. Harun b. Musa, PJK ,B.A.(Hons)
8. 01.03.1986-31.08.1987 Puan Kamariah bt. Sabeh, B.A.(Hons.),M.A.
9. 01.09.1987- 11.09.1993 Tuan Hj. Abdul Latiff b. Mohd.Ali, B.A.(Hons),M.A
10. 01.12.1993 - 15.07.1995 En. Mahat bin Dawi, B.A (Hons)
11. 16.11.1995 - 01.12.1998 Puan Asmah bt. Yahya, B.A (Hons)
12. 15.12.1998 - sekarang Puan Sabarriah bt. Shukor, B.A (Hons), M.A