Haji Turmuzi menikahi Hajjah Arseni, bekas muridnya yang berasal dari Kuningan, kabupaten yang berjarak sekitar 60 kilometer dari Cirebon. Pasangan ini dikaruniai 10 orang anak. Agung adalah anak terakhir.
Sebagai anak bungsu, sejak kecil, dia selalu mengikuti jejak saudara-saudara yang lebih tua. Usai magrib, mereka biasa berkumpul dengan anak-anak lain yang tinggal di sekitar madrasah untuk mengaji.
Abah tidak pernah melarang dan membiarkan Agung memuaskan rasa keingintahuan dengan berkeliaran di madrasah dan berteman dengan siapa saja.
Saat memasuki usia sekolah, Agung mempelajari Alquran langsung dari Abah. Status sebagai anak seorang ulama tidak membuat Agung mendapatkan keistimewaan. Saat tidak bisa mengaji, misalnya, Abah mengingatkan Agung dengan sebilah rotan kecil yang juga dipergunakan untuk menunjuk huruf-huruf hijaiyah di dalam Juz Amma atau Alquran.
Agung juga dikenal sebagai anak yang panjang akal. Syahdan, pada suatu hari, agar tidak mendapatkan hukuman, Agung menyembunyikan rotan milik Abah. Dia berharap agar Abah tidak mengetuk jarinya saat lupa tentang huruf atau tanda baca dalam Alquran. Saat melihat Abah sibuk mencari rotan, Agung merasa senang melihat Abahnya kehilangan “senjata”.
Namun kesenangan ini tidak berlangsung lama. Keesokan hari, di waktu yang sama, dia melihat Abah menggenggam rotan baru. Abah memandangi wajah Agung, memberi isyarat bahwa Abah tahu pelaku yang menghilangkan rotan itu adalah Agung.
Sosok Abahlah yang memberikan banyak pengetahuan kepada Agung. Abah mengajarkan pentingnya pengetahuan dan akhlak mulia. Lewat didikan Abah pula Agung berhasil menyabet penghargaan sebagai qari. Menurut Agung, semua itu ditempa dalam waktu yang lama, sejak dia berusia dini.
Alih-alih menjadi seorang ustadz atau pendidik, Agung malah tertarik untuk bergabung dengan dunia militer. Saat itu, pada awal 80-an, Agung melihat Majalah Gadis dan tertarik dengan sebuah iklan berisi ajakan untuk masuk ke Akademi Angkatan Bersenjata Republik Indonesia (Akabri). Agung yang baru saja menyelesaikan pendidikan di Sekolah Menengah Atas (SMA) 2 Cirebon tertarik dengan ajakan tersebut.
