Beliau dilahirkan di Manggeng, Aceh Selatan pada tahun 1905, dan berkiprah secara luas di Bakongan, sehingga masyarakat akrab menyebut beliau dengan sebutan Abu Bakongan atau Nek Abu Bakongan.
Kehadiran Abu Bakongan dalam perjalanan keilmuan di Aceh memiliki arti yang signifikan, mengingat rentang waktu yang lama, dan interaksi beliau dengan banyak ulama yang hidup sezaman dengannya.
Bahkan beliau berguru ke para ulama senior Aceh seperti Abu Kruengkalee, Abu Lampisang, Abuya Syekh Muda Waly, dan Abu Aidarus Sabang Lamno.
Mengawali pendidikannya Abu Bakongan belajar langsung kepada ayahnya Teungku Mahmud yang merupakan keturunan perantau dari Reubee Pidie. Setelah mempelajari dasar-dasar keilmuan dari ayahnya, beliau disebutkan pula pernah belajar kepada Teungku Abdullah seorang teungku di kampungnya. Kemudian mulailah Abu Bakongan merantau untuk menuntut ilmu di berbagai dayah kepada sejumlah ulama kharismatik.
Tempat pertama yang beliau tuju adalah Jam’iyatu Khairiyah, sebuah lembaga pendidikan yang dibangun oleh Abu Muhammad Ali Lampisang yang berasal dari Siem Kruengkalee dan lulusan dari Lampisang Aceh Besar dan Yan Keudah Malaysia, adik sepupu dari Abu Hasan Kruengkalee.
Selain Abu Bakongan, di dayah ini juga belajar ulama lainnya termasuk yang paling masyhur Abuya Syekh Muda Waly dan Abuya Teungku Haji Bilal Yatim Suak.
Setelah beberapa tahun di dayah Abu Lampisang, Abu Bakongan kemudian melanjutkan pengajiannya di Dayah Bustanul Huda Blangpidie kepada ulama Abu Syech Mud Blangpidie, bersama beberapa orang teman seangkatannya antara lain Abuya Muda Waly, Teungku Bilal Yatim Suak, Teungku Salim Samadua.
Karena satu dan berbagai hal, maka berpisahlah keempat orang ini dalam belajar setelah dari Abu Syech Mud Blangpidie. Abuya Muda Waly kemudian menuju ke Aceh Besar belajar di Dayah Hasbiyah Abu Indrapuri kemudian ke Padang.
Abu Bilal Yatim Suak menuju ke Samakurok dan belajar disana sampai tahun 1942 kemudian pulang ke Blangpidie, sedangkan Teungku Salim Samadua disebutkan menuju ke Aceh Besar untuk belajar di dayah yang ada di sana, namun tidak lama beliau pun pulang kampung dan mulai menjadi teungku di Samadua dan meninggal dalam usia muda.
