Его отец работал в еврейском театре, а мать была скрипачкой. Семья Дассена жила в Нью-Йорке, а потом переехала в Лос-Анджелес.
Сам Джо подрабатывал с раннего детства, при том что его семья был не бедной.
В Лос-Анджелесе они жили 10 лет, а потом приняли решение переехать во Францию.
Впоследствии он влюбится в эту страну и будет мечтать провести здесь остаток всей жизни.
В 1955 году он переживал болезненный развод родителей и решил вернуться в Америку.
