Kemudian juga Ketua PAC PPP Kec. Medan Timur & Kec. Medan Perjuangan, Kota Medan pada 1985-1995 serta Wakil Ketua DPC PPP Kota Medan pada 1995-2000. Ia juga pernah menduduki jabatan sebagai anggota DPRD Kota Medan pada 1997-1999.
Setelah di PPP, Romo pindah ke Partai Bintang Reformasi (PBR) sebelum akhirnya bergabung di Partai Gerindra. Di PBR, ia dipercaya sebagai Ketua Dewan Pimpinan Wilayah (DPW) PBR pada 2002-2006 serta Wakil Ketua Umum DPP PBR pada 2006-2011. Selama tergabung di PBR, ia pernah menduduki Ketua Fraksi DPRD Provinsi Sumatera Utara Fraksi PBR pada 2004-2009.
Selain aktif di organisasi politik, Romo juga tercatat masuk di berbagai organisasi lainnya seperti Korps Alumni Himpunan Mahasiswa Islam (KAHMI) baik di daerah maupun di pusat, Pengurus Pusat Ikatan Persaudaraan Haji Indonesia (PP-IPHI), Ikatan Alumni Fakultas Hukum Universitas Sumatera Utara, Pengurus Pusat Ikatan Alumni Universitas Sumatera Utara (PP IKA USU), hingga Dewan Pimpinan Nasional Himpunan Kerukunan Tani Indonesia (DPN HKTI).
Selain di bidang politik, Romo juga merintis kariernya di bidang akademik sebagai guru di berbagai satuan pendidikan hingga Dosen Agama Islam Universitas Sisingamangaraja XII pada 1999-2000. Ia juga dikenal sebagai mubaligh atau penceramah.
Romo menempuh pendidikan tingginya dimulai dari program sarjana Fakultas Hukum Universitas Sumatera Utara pada 1979-1988 dan berlanjut ke pascasarjana Ilmu Hukum di universitas yang sama pada 2004-2007. Pada 2018, ia mulai menempuh jenjang strata tiga Tafsir Quran di Perguruan Tinggi Ilmu Al-Qur’an.
Dengan segudang pengalamannya di bidang politik, akademik, dan keagamaan, laki-laki kelahiran Medan tahun 1959 itu kini sampai pada posisi strategis tertingginya sebagai Wakil Menteri Agama dalam Kabinet Merah Putih.
Bersama Menteri Agama Nasaruddin Umar, ia diharapkan mampu memperkuat Kementerian Agama dalam memberikan pelayanan keagamaan maupun pendidikan. Tak hanya itu, Kemenag juga diharapkan menjadi institusi yang lebih inklusif serta menjadi rumah bagi semua agama.
Berita ini telah tayang di Antaranews.com dengan judul: Muhammad Syafi'i, politisi Gerindra yang kini resmi jadi Wamenag
