Im Jahr 2004 zog sich Ungaro aus der Modebranche zurück. Eine Sprecherin des Modehauses "Emanuel Ungaro" sagte, er sei trotzdem "immer noch sehr präsent bei der Inspiration gewesen". Ungaro hinterlässt seine Frau Laura Bernabei Fanfani und die gemeinsame Tochter Cosima (*1990).