MGMP PAI SMK DIY berdiri pada tanggal 01 Juli tahun 1989 di bawah kepengurusan bpk. Daliman yang bertugas sebagai GPAI SMK N 1 Pengasih bersama dengan bpk. Mugiyanto. Mereka sebagai pengurus yang mendampingi GPAI SMK DIY yang sering mengikutkan GPAI SMK se-DIY dalam kegiatan pelatihan dan bimtek yang dilaksanakan di tingkat wilayah Daerah Istimewa Yogyakarta. Pelatihan dan bimtek yang pernah dilaksanakannya yaitu bimtek GPAI SMK DIY di PPPG Kesenian Jl. Kaliurang Km. 12,5 selama tiga hari tiga malam.

                Penyusunan Buku Parktikum dan Mentoring bagi GPAI SMK DIY merupakan pelaksanaan program unggulan (dari kepengurusan MGMP pada saat itu) yang sangat memberi pengaruh besar bagi GPAI SMK DIY karena kiprahnya membawa dan mengarahkan GPAI pada langkah-langkah kongkrit dalam kaitan tugas GPAI mendidik dan membina siswa SMK. Setiap siswa SMK DIY diwajibkan memiliki buku Praktikum dan Mentoring yang harus diisi di bawah kendali dan pengawasan GPAI masing-masing. Melalui buku ini GPAI dapat memonitor kegiatan ibadah peserta didik mulai dari kegiatan shalat, tadarus, berbhakti pada orangtua, berbuat baik pada sesama, … yang semua diatur dan dicantumkan dalam buku Praktikum dan Mentoring. Kegiatan GPAI SMK dilakukan secara mobile dengan berkeliling pindah dari satu kabupaten ke kabupaten yang lain. (kabupaten Kulon Progo, Sleman, Kota Yogyakarta, Bantul dan Gunung Kidul).

                Pada tahun 2000 setelah masa bhakti selesai, maka diteruskan oleh bpk. Mugiyanto (SMK N 3 Yogyakarta) dan ibu Hanik Rosyada (SMK N 1 Tempel). Namun pada masa awal kepengurusan ini bpk. Mugiyanto dmenjadi pengawas Madrasah, maka pada tahun 2006 kepengurusan MGMP PAI SMK DIY diteruskan oleh ibu Hanik Rosyada sebagai ketuanya untuk mengkoordinir kegiatan-kegiatan GPAI SMK DIY. Kegiatan-kegiatan pada masa kepengurusan ibu Hanik Rosyada bisa dibilang cukup padat, namun berkat pengelolaan yang profesional maka kegiatan yang telah direncanakan dalam program kerja dapat berjalan sesuai harapan. Kegiatan yang sangat berkesan bagi GPAI SMK DIY adalah study banding ke Jakarta dengan SMK N 6 Jakarta yang dijadikan sekolah model dalam pelaksanaan kegiatan keagamaan yang sangat kental di sekolah tersebut. Kerjasama yang dilakukan pengurus dengan pihak-pihak terkait (penerbit dan percetakan Airlangga, Dinas Dikpora dan Subdit PAI Kanwil Kemenag DIY, MUI) menjadikan kepengurusan ini bersama kegiatan-kegiatan di dalamnya dapat berjalan dengan baik dan lancar dan mendapat simpati di kalangan mereka sebagai pengurus yang kompak. Kepengurusan ini berakhir pada tahun 2009 untuk kemudian dilanjutkan kepengurusannya oleh bpk. Asrohman (SMK N 1 Pengasih) sebagai ketua dan ibu Nurwastuti sebagai wakilnya.

Selama masa kepengurusan bapak Asrohman (2009-2019), MGMP PAI SMK DIY banyak mengalami kemajuan terutama dalam bidang peningkatan kompetensi GPAI di bidang Teknologi Informatika (TI), ditandai dengan diselenggarakannya beberapa kegiatan Bimtek Produksi Media Pembelajaran berbasis Android, Pembuatan soal ulangan berbasis media PPT. Selain itu juga diselenggarakan kerjasama dengan penerbit buku sehingga terlahir Buku Pendamping Bahan Ajar Pendidikan Agama Islam “AL-HIKMAH” yang sampai saat ini masih digunakan oleh siswa SMA/SMK se-Daerah Istimewa Yogyakarta. Pada masa kepengurusan ini dibentuk pula tim khusus dalam penyusunan naskah soal USBN PAI SMK yang terdiri dari dua; tim Kurikulum 2006 (KTSP) dan tim Kurikulum 2013 (K13). Seiring dengan padatnya kegiatan ketua dan wakil ketua di tingkat Nasional seperti mengikuti Out Course di Australia dan kegiatan perkuliahan study lanjut S2, maka kegiatan MGMP PAI SMK DIY sangat terasa kemasifannya dan akhirnya berjalan stagnan sampai pada akhir kepengurusan periode yang kedua.

Pada tahun 2019 tepatnya pada tanggal 26 Juli 2019 bertempat di Kanwil Kemenag DIY, diadakan laporan pertanggungjawaban pengurus sekaligus dibentuk kepengurusan yang baru. Terpilihlah bapak Dwi Priyana (SMK N 2 Kasihan) sebagai ketua MGMP PAI SMK DIY untuk masa bhakti 2019-2022. Mandat anggota memberikan tenggang waktu 1 bulan untuk menyusun struktur kepengurusan dan program kerja, sehingga pada tanggal 24 Agustus 2019 bertempat di SMK N 4 Yogyakarta diselenggarakan Raker Pengurus yang pertama dengan agenda penyusunan struktur kepengurusan dan program kerja MGMP PAI SMK Daerah Istimewa Yogyakarta. Sesuai dengan hasil reses program kerja yang disusun oleh anggota, maka struktur kepengurusan dan program kerja dapat tersusun sesuai rencana, sehingga AD/ART MGMP PAI SMK DIY pun dapat diluncurkan dan dipakai sebagai acuan pelaksanaan kegiatan ke-MGMP-an.

Upaya meningkatkan sense of be longing (rasa kepemilikan) dan sense of responsibility (rasa tanggungjawab) pengurus terhadap MGMP SMK DIY dibangun dan dimulai dari kegiatan Raker Pengurus yang dilaksanakan secara mobile (berpindah-pindah) dari suatu kabupaten ke kabupaten yang lain. Terhitung dalam kurun waktu satu tahun kegiatan Raker Pengurus MGMP PAI SMK DIY sudah dilaksanakan 6 kali (Pertama; SMK N 4 Yogyakarta, Kedua; SMKN 2 Depok_Sleman, Ketiga; SMK N 1 Tanjungsari_Gunung Kidul, keempat; SMK N 1 Samigaluh_Kulon Progo, kelima; SMK N 1 Kalasan_Sleman, Keenam; SMK N 2 Kasihan_Bantul).

Terobosan yang menjadi pembeda pada masa awal kepengurusan bapak Dwi Priyana adalah pembuatan website paismk.com sebagai sebuah situs pembelajaran Guru PAI dan Siswa SMK, yang dapat diakses oleh berbagai kalangan di seluruh pelosok negeri (utamanya GPAI dan siswa jenjang SMK).