SMP Negeri 21 Bandung awalnya merupakan filial dari SMP Negeri 3 Bandung yang dimulai pada tahun pelajaran 1965/1966. Tempat belajarnya sempat dilaksanakan di Jalan Dunguscariang Kecamatan Andir, daerah Cibeureum. Lokasi yang sekarang dipergunakan oleh SMP-SMK Kian Santang. Karena statusnya masih filial SMP Negeri 3 Bandung, maka identitas sekolah dan lain sebagainya masih menggunakan identitas SMP Negeri 3 filial.
Pada tahun pelajaran 1978/1979, pembelajaran mulai dilaksanakan di Gang Lumbung II, Kecamatan Babakan Ciparay menggunakan tanah hibah dari Pemerintah Daerah Khusus Ibu Kota Jakarta pada masa Gubernur Ali Sadikin untuk Pemerintah Kota Madya Bandung. Setelah menempati tanah di Gang Lumbung II inilah, nomenklatur sekolah yang semula SMP Negeri 3 Filial, diganti menjadi SMP Negeri 21 Bandung.
Berikut kepala sekolah yang pernah menjabat hingga sekarang :
1. Lalu Jusuf (1978 s.d 1985)
2. Sutrisno, BA (1985 s.d 1991)
3. Kahfi, BA (1991 s.d 1995)
4. Drs. Juju Sunjaya (1995 s.d 1997)
5. Amo Sudarmo, BA s.d Plt. Kepsek (1997 s.d 1998)
6. Drs. Yayan Yunandar (1998 s.d 2000)
7. Dedi Abdul Adha (2000 s.d 2007)
8. Drs. Yayan Yunandar s.d Plt Kepsek (2007 s.d 2008)
9. Slamet Riyanto, S.Pd., M.M.Pd. (2008 s.d 2012)
10. Wawan Tarnawan, S.Pd., M.M. (2012 s.d 2015)
11. Nita Hidawati K, S.Pd., M.M.Pd. (2015 s.d 2020)
12. Drs. H. Saan Ruswandi, M.M.Pd. (2020 s.d 2023)
13. Ade Nur, M.Pd. (2023 s.d Sekarang)