Био је ванбрачни син Фернанда Католичког и доње Луисе де Естраде, кћерке војводе од Естраде. Алфонсо је био плод младелачке љубави Фернанда и Луисе, и њихова веза није била могућа јер је Фернандо нешто већ био верен са Изабелом од Кастиље. Међутим, Фернандо је касније признао свог сина и именовао га војводом од Арагона. Алфонсо је био веома поносан на свог оца и верно му је служио у Фландрији и на Сицилији, због чега је увек уживао углед код Католичких краљева.
