Beliau adalah ulama intelektual yang berasal dari Aceh Utara. Teungku Ismail Yakub lahir pada tahun 1915 anak dari Teungku Muhammad Yakub anak dari Teungku Abdussalam yang berasal dari Banten. Sejak kecil Teungku Ismail Jakub mulai belajar dasar-dasar keilmuan Islam dari ayahnya yang juga seorang yang mencintai ilmu pengetahuan.
Setelah menyelesaikan sekolah umum di kampungnya dalam kawasan Aceh Utara, beliau kemudian mulai memperdalam kajian keilmuannya di beberapa dayah. Diantara dayah yang pernah beliau singgahi adalah Dayah Meunasah Manyang Samakurok pada tahun 1927 dan kemudian beliau melanjutkan ke Dayah Pucok Alue Simpang Ulim.
Pada tahun 1931, dalam usia 16 tahun Teungku Ismail Yakub mulai mengembara dalam menuntut ilmu. Tempat yang ditujunya adalah Sumatera Barat Padang. Kemungkinan besar beliau segenerasi dengan beberapa teungku lainnya yang kemudian menjadi tokoh berpengaruh di Aceh.
Karena pada tahun 1931 ada beberapa putera-putera terbaik Aceh yang dikirim ke Padang untuk belajar di Normal Islam dan Sumatera Thawalib Padang Panjang dan Parabek. Diantara mereka yang belajar di Padang adalah Sayed Abubakar, Teungku Muhammad Ali Ibrahim, Teungku Ali Hasjmi, Teungku Ismail Jakub. Dan kemungkinan besar Abuya Syekh Muda Waly juga berangkat pada era ini, yang umumnya mereka dikirim ke Padang oleh Teuku Muhammad Hasan Geulumpang Payong.
Lebih kurang sekitar lima tahun beliau belajar dengan segenap kesungguhan, telah mengantarkan Teungku Ismail Yakub menjadi seorang intelektual yang memiliki wawasan yang luas. Beliau belajar di Normal Islam yang ketika itu dipimpin oleh seorang ulama ahli pendidikan yaitu Profesor Mahmud Yunus yang juga pengarang Kamus Tekenal Mahmud Yunus.
Selain Normal Islam, adapula Thawalib Padang Panjang yang didirikan oleh ‘Inyiak Doktor’ Syekh Abdul Karim Amrullah, yang kemudian dilanjutkan oleh Angku Mudo Abdul Hamid Hakim pengarang Kitab-kitab ushul fiqih. Sedangkan Thawalib Parabek, didirikan oleh ulama besar Syekh Ibrahim Musa Parabek.
Setelah beberapa tahun belajar di Padang, Teungku Ismail Yakub kemudian mengabdikan ilmunya di kampung halamannya dengan merintis dan menginisiasi berdirinya beberapa sekolah keagamaan. Beliau juga terlibat aktif dalam kepengurusan organisasi keislaman dan bahkan pernah menjadi redaktur Majalah Penyuluh pada masanya.
