Beliau adalah ilmuan Aceh kontemporer yang lahir pada tahun 1909 di Peureumeu Aceh Barat. Ayahnya seorang ulama bernama Teungku Syekh Abdurrahman Peureumeu dan ibunya bernama Teungku Hj Naim berasal dari Peulanggahan Banda Aceh.
Sejak kecil, Teungku Abu Bakar Aceh telah dididik dan ditempa dengan dasar-dasar keilmuan Islam oleh ayahnya. Sehingga tidak mengherankan Teungku Abu Bakar tumbuh sebagai anak yang cerdas dan memiliki semangat yang tinggi dalam belajar.
Selain kepada ayahnya, Teungku Abu Bakar Aceh juga sempat berguru kepada beberapa ulama Aceh seperti Teungku Haji Abdussalam Meuraxa dan Tuwanku Raja Keumala. Teungku Haji Abdussalam Meuraxa merupakan ulama Banda Aceh murid dari dua orang ulama besar lulusan Mekkah yaitu Teungku Chik Abbas Lambirah dan Teungku Chik Jakfar Lamjabat, yang kedua ulama tersebut anak dari Teungku Chik Muhammad Lambirah, pendiri Dayah besar Lambirah Aceh Besar. Selain guru, Teungku Chik Jakfar Lamjabat adalah mertua dari Teungku Haji Abdussalam Meuraxa.
Ulama lainnya yang menjadi guru Teungku Abu Bakar Aceh ialah Ulama dan Bangsawan Aceh kenamaan Tuwanku Raja Keumala. Tuwanku Raja Keumala merupakan murid dari Syekh Dorab, Teungku Chik Pantee Geulima dan pernah pula belajar beberapa tahun memperdalam keilmuannya di Mekkah rentang waktu 1904 sampai 1908, segenerasi dengan Mufti Kerajaan Deli Syekh Hasan Maksum.
Setelah menyelesaikan pendidikan di Aceh, Teungku Abu Bakar Aceh kemudian berangkat ke Sumatera Barat dan belajar di sana beberapa tahun. Kemudian beliau melaksanakan ibadah haji pada tahun 1936 dan sempat belajar dari beberapa ulama Mekkah.
Melihat kepada tahun kedatangannya ke Mekkah, kemungkinan beliau beguru kepada para ulama yang masyhur ketika itu Syekh Sayyid Alawy al-Maliki, Syekh Sayyid Amin Kutbi, Syekh Sayyid Hasan Muhammad al Masyath, Syekh Yasin Padang dan para ulama lainnya.
Karir keilmuan beliau makin cemerlang sejak hijrah ke Yogyakarta. Karena penguasaan keilmuan yang mendalam dan ketawadhu’an yang melekat pada sosok Teungku Abu Bakar Aceh, beliau didaulat sebagai sesepuh masyarakat Aceh di Yogyakarta. Disebutkan, banyak pelajar dan mahasiswa asal Aceh yang dibantu oleh beliau.
