MAN 2 Model Medan pada awalnya merupakan sekolah Pendidikan Guru Agama (PGA) 6 tahun yang berdiri tahun 1972. Tahun 1975 dikeluarkannya SKB 3 Menteri, sehingga berubah menjadi PGA 4 tahun ditambah Pendidikan Guru Agama Lanjutan (PGAL) 2 tahun.
Tahun 1992, Menteri Agama RI Munawir Sjazali mengeluarkan SK Menteri Agama Nomor 42 Tahun 1992 tentang perubahan PGA menjadi Madrasah Aliyah Negeri (MAN) dengan nama MAN 2 Medan.
Selanjutnya berdasarkan SK Dirjen Pendidikan Agama Islam tanggal 20 Februari 1998, MAN 2 Medan ditetapkan sebagai salah satu MAN Model diantara 35 MAN Model di Indonesia.
Sejak berdirinya hingga saat ini, MAN 2 telah mengalami 15 periode kepemimpinan, yaitu:
- H. Bustami Ibrahim (Kepala PGAN 1957-1962),
- Ibrahim Abdul Halim (Kepala PGAN 1962-1965),
- Abdul Malik Syafii (Kepala PGAN 1965-1977),
- Drs. Nazaruddin Yassin (Kepala PGAN 1977-1988),
- Drs.H.Miskun AR, MA (Kepala PGAN/MAN 1988-1993),
- Drs.H.Musa (Kepala MAN/MAKN 1993-1998),
- Drs. H.Yulizar, M.Ag (Kepala MAN 2 Model Medan/1998-2000),
- Drs.H.M.Hadi KS (2000-2002),
- Drs. H.Syaiful Syah (2002-2005),
- H. Ali Masran Daulay, S.Pd, MA (2005-2009),
- Drs.H.Amarullah, SH, M.Pd (2009-2013),
- Drs.H. Anwar, AA (Pit. Kepala MAN 2 Model Medan/2013-2014),
- Dr.H.Burhanuddin, M.Pd (2014-2018),
- Irwansyah, MA (2018-2022), dan
- Wuri Tamtama Abdi Spd.I, M.pd (2022 – Sekarang).