Kehausan Syekh Muda Waly terhadap ilmu mendorongnya untuk mengembara ke kampung moyangnya Sumatera Barat. Di sana ia belajar selama beberapa bulan kepada Prof Mahmud Yunus/Ustadz Mahmud Yunus yang baru kembali dari Darul Ulum Kairo Mesir.
Kemudian, Syekh Muda Waly belajar di Surau Jaho, langsung kepada pendirinya Syekh Jamil Jaho murid dari Syekh Ahmad Khatib Minangkabau yang masyhur itu. Karena kealiman dan keshalihannya, banyak ulama yang terpikat mengambilnya sebagai menantu, di antaranya Syekh Jamil Jaho yang menikahkan dengan anaknya dan Syekh Khatib Ali dengan cucunya.
Walaupun telah menikah, semangat menuntut ilmu tidak pernah pudar dari dirinya, sehingga atas inisiatif para ulama dan ninik mamak di Padang, beliau diantarkan bersama Isterinya Ummi Rabi’ah untuk menunaikan ibadah haji. Sebelum berangkat ke Mekkah, Abuya suluk Tarekat Naqsyabandiyah kepada Syekh Abdul Ghani Kampari yang berasal dari Riau.
Waktu enam bulan di Mekkah dipergunakan dengan baik, sehingga bertemulah Syekh Muda Waly dengan Syekh Muhammad Yasin al-Padani ketika mengaji Kitab Asybah Wan Nadhair karya Imam Jalaluddin Suyuthi kepada Syekh Ali bin Husen al Maliki, salah satu ulama tersohor di Mesjidil Haram pada masanya, dan pentahkik kitab tersebut. Setelah menerima ijazah dari Syekh Ali Maliki, ada keinginan Syekh Muda Waly untuk berkunjung ke Mesir, namun niat tersebut beliau urungkan.
Kiprah keulamaan Syekh Muda Waly makin bersinar ketika beliau mendirikan Dayah Pesantren Darussalam di Labuhan Haji Aceh Selatan, dimana pesantren tersebut telah mengkader ratusan ulama yang berkiprah dan mengayomi masyarakat.
Banyak ulama dan ilmuan Islam lahir dari rahim pesantren tersebut. Umumnya mereka telah meninggal, dengan meninggalkan banyak murid yang meneruskan estafet perjuangan mereka. Sebut saja yang telah wafat misalnya; Syekh Aidarus bin Syekh Abdul Ghani Kampari, Abu Yusuf ‘Alami menantu Abuya, Syekh Marhaban Kruengkalee anak dari Abu Kruengkalee, Syekh Zakaria Malalo/Abuya Labaisati, Abu Adnan Bakongan, Abu Tanoh Mirah, Abon Samalanga, Abuya Muhibbuddin Waly, Abu Keumala, Abu Jailani Pedada, Abu Ja’far Siddiq, Abu Ahmad Isa Pedada, Abu Kamaruddin Teunom, Syekh Hasan Abati Lamno, Abu Imam Syamsuddin Sangkalan, Abu Ahmad Perti, Abu Usman Basyah Sungai Pauh Langsa, Abu Tu Min Blang Blahdeh, Abu Hanafi Matangkeh, Abu Daud dan masih banyak ulama lainya yang menimba ilmu dari beliau.
