Passer napsal scénáře k raným filmům Miloše Formana Lásky jedné plavovlásky a Hoří má panenko. Kromě jiného je spojován s filmovou českou novou vlnou z šedesátých let. On sám natočil v dané době pouze jediný film, a to Intimní osvětlení z roku 1965. K tomu to kromě jiného napsal i sám scénář.

Po roce 1968 emigroval z tehdejšího Československa do Spojených států. Mezi jeho nejpozoruhodnější filmy, které natočil v Americe, patří Cuttlerova cesta z roku 1981 a také snímek Stalin z roku 1992. V roce 2006 obdržel režisér ocenění Český lev za svůj celoživotní umělecký přínos české kinematografii.