Ипак, иако је породица била његово безбрижно окружење један немили догађај задесио их је 1976. године.
Ацо је одувек истицао колико је имао лепо детињство са двојицом браће, а онда је једном приликом испричао да је трагедија задесила његову породицу јер је због грешке лекара изгубио једног брата на рођењу.
- Одрастао сам у приградском насељу Коловрат, са четири године старијим братом Предрагом и шест година млађим Радојицом. Били смо несташни као и сви дечаци, а једва смо чекали лето да се купамо на Лиму и правимо бране на реци. Пошто су родитељи радили по сменама, често се дешавало да останемо сами ноћу код куће. Сећам се да смо једном умислили да нам неко куца на врата, па смо Предраг и ја уплашени умотали најмлађег брата Радојицу у ћебе и побегли на терасу са кухињским ножем, у жељи да се одбранимо. Када су се родитељи вратили са посла, били су уплашени што нас нигде нема, да би нас на крају затекли како сва тројица шћућурени спавамо на тераси - присетио се једном приликом детињства Ацо, а онда сетио и немилог догађаја који је задесио породицу.
Мајка Аца Пејовића је носила близанце, међутим, грешком лекара донела је на свет само једно дете.
- Мада је и тада постојао ултразвук, чувени лекар из Београда није видео да је реч о две бебе и та катастрофална грешка довела је до трагичног исхода јер се једна беба буквално угушила. Брат који је успео да преживи имао је само килограм и четиристо грама на рођењу, а добио је име Радојица, по чувеној народној епској песми „Мали Радојица“, о чијој је храбрости и издржљивости испевана легенда. Временом сам то прихватио као божју вољу. Не питам себе шта би било кад би било, али често урадим оно једино што могу да учиним за њега - запалим му свећу када одем у цркву. Е, сада, не знам да ли је то у реду или није, пошто кажу да се онима који нису крштени не пали свећа, али ја то радим. Душа је душа, па чак и док је плод у мајчиној утроби. И треба ценити сваки живот и не давати себи за право да га прекинеш. Зато смо сви много пазили млађег брата - испричао је певач једном приликом.