Ali Ulvi Kurucu, 3 Mart 1922 tarihinde babası Hacı Veyiszade İbrahim Efendi’nin imamlık yaptığı Konya’nın Sakyatan köyünde doğdu. Ailenin ilk çocuğu olarak dünyaya geldi. Henüz yirmi yaşındaki annesi Sare Hanım, kardeşinin doğumu sırasında vefat ettiği için 4 yaşında öksüz kaldı. Bu vefat sonrası babasının teyzesi ile evlenmesi üzerine teyzesi Aliye Hanım tarafından büyütüldü.
1928 yılında ailesiyle yaşadığı köyden ayrılarak ilkokul eğitimi için Konya’ya, dayısının yanında gitti. Halasından Osmanlıca okuma yazmayı öğrendiğinden ilkokula ikinci sınıftan başladı. Ancak Köprübaşı İlkokulundaki eğitimi kısa sürdü, okul binası çok eski olduğundan eğitime devam edemedi ve bu kez de dedesinin yakınındaki Cevizaltı Mahmud Şevket Paşa Mektebi’ne geçti. Aynı yıl harf inkılabının yapılması, okullardaki din derslerinin kaldırılması torunun İslami bir eğitim almasını arzu eden dedesini endişelendirdi. Küçük yaşında ayrıldığı ailesinin hasretiyle zor günler geçiren Ali Ulvi, tüm bu sebeplerle köye döndü. Babasından ve son devrin büyük alimlerinden amcası Hacı Veyiszade Mustafa Efendi’den hafızlık ve Arapça sarf ve nahiv dersleri almaya başladı. Hıfzını dokuz yaşında tamamladı. Bu sürede Hafız Ali Efendi’den kıraat ve musiki derslerini de aldı. 13-14 yaşlarına geldiğinde Kapı Camii’nde hafız olarak mukabele okumaya ve cemaate hatimle teravih kıldırmaya başlamıştı. Bu sırada ilk ve orta okulu da dışarıdan imtihanlara girerek verdi. İsminin yanında eklediği ‘Ulvi’ mahlasını da bu yıllarda kullanmaya başlamıştı.
Harf inkılabı, Şapka Kanunu ve Türkçe ezan baskıları nedeniyle babası İbrahim Efendi’nin sık sık polis baskınına maruz kalması, imam olarak çocuklara Kur’an öğretmesi nedeniyle hakkında davalar açılması aileyi göçe zorladı. 3 oğlunun İslami bir eğitim almasını isteyen baba İbrahim Efendi Medine’ye hicret etmeye karar verdi ve büyük yolculuk 1939 yılında başladı. Eşyalarını yüklenerek Konya’dan yola çıkan aile,Şam üzerinden Medine’ye gitmek üzere Adana’ya geldi ancak buradan istedikleri vizeler alınamadı. Vize işlemleri için İstanbul’a gelmek zorunda kalmaları yorucuydu ancak okuduğu şiirlerden dolayı İstanbul’a büyük hayranlık besleyen Ali Ulvi Kurucu için büyük bir sevinç vesilesi olmuştu. Vize işlemlerini halleden ve gelmişken Fatih Sultan Mehmet Hazretlerinin kabrini ziyaret etmek isteyen baba oğul, kabrin kapısının zincirle kapatılmış olduğunu görünce büyük üzüntü yaşamış, Ayasofya’nın müzeye dönüştürülmüş halini görünce üzüntüleri katlanmıştı. Ali Ulvi Kurucu, şiirlerinde bu üzüntülü güne sık sık atıf yapacaktı.