Meski masih muda, Kyai Dulloh ini sudah cukup berani mendirikan sekolah Diniyah, karena memang didukung oleh keluarganya yang memiliki sebidang tanah untuk digunakan.
KH Abdullah Syafi'i muda menjadi pendiri dan juga pengajar di Madrasah Diniyah Bali Matraman. Kemudian beliau juga mendirikan masjid Al-Barkah di tahun 1933.
Tak hanya itu, di tahun yang berdekatan KH Abdullah Syafi'i mendirikan perguruan As-Syafi'iyah, ia sekaligus menjadi pengurus di dalamnya.
Kemudian KH Abdullah Syafi'i juga tercatat sebagai Ketua Partai Akademi Pendidikan Islam asy-Syafi'iyah, ia berperan sebagai Ulama.
Jejak karirnya terus melaju, KH Abdullah Syafi'i mengemban tanggung jawab sebagai Ketua Majelis Ulama Indonesia, dan juga menjadi Ketua Umum Majelis Ulama Indonesia DKI Jakarta.***