1961-ben végzett a Színház- és Filmművészeti Főiskolán Máriássy Félix osztályában, ahol olyan társai voltak, mint Szabó István, Gábor Pál, Huszárik Zoltán, Gyöngyössy Imre, Elek Judit vagy Kézdi Kovács Zsolt. Pályája kezdetén a Balázs Béla Stúdióban készített rövidfilmeket (A tér, Igaz-e?), főként a gyermekek, fiatalok problémáiról; e témakörhöz később is hű maradt, hol humorral és iróniával, hol megrendítő drámaisággal mutatta be életüket, gondjaikat, viszonyukat a felnőttek világához.

Első játékfilmjét, a Gyerekbetegségeket Kardos Ferenccel közösen rendezte 1965-ben. A film főszereplője egy első osztályos kisfiú, az ő szubjektív gyermeki fantáziájának szűrőjén keresztül látjuk az iskolát, a tanárokat, a felnőttek világát. Négy évvel később készült a Bűbájosok, amely egy manöken és kislánya zaklatott viszonyát beszéli el, a filmben az Illés együttes két dala is felcsendült. Ezután két dokumentumfilmet készített az iskola, az ott dolgozók életéről, ezek – bár csak egyes sorsokat követtek nyomon – igen éles kritikát fogalmaztak meg a rendszer működéséről, illetve működésképtelenségéről. Emiatt sokáig sem a három fiatal tanítónő történetét elbeszélő Tanítónők, sem az egy kelet-magyarországi diákszállón történt esetet feldolgozó Botütés nem kerülhetett a mozikba.

Következő játékfilmjeinek témája ismét a gyermekkor volt. Az 1974-es, Balázs Béla önéletrajzi regényéből született Álmodó ifjúság borús, tragikus hangulatú alkotás. A két évvel későbbi, szatirikus hangvételű Pókfoci céltáblái az iskolai élet mindennapjaiban meghúzódó kicsinyességek és hamisságok voltak. A Csatatér című 1977-es dokumentumfilm a mohácsi csata 450 éves évfordulójára készült. 1978-ban forgatta a naturalisztikus, sötét tónusú A trombitást, amely egy, a XVII. század végén bujdosó, fosztogató kurucok közé került gyermek tragikus történetét meséli el.

1979-ben készült a Vasárnapi szülők, az egy nevelőintézetben élő lány kilátástalan életéről szóló film Montrealban és Várnában is több díjat kapott. A rohanó, hajszolt életmód miatt szétesőben lévő családról és a benne vergődő gyerekről készült a tragikomikus és szatirikus elemekben bővelkedő Csók, anyu (1986), Vámos Miklós Cédulák című novellája alapján. Az 1988-as Ismeretlen ismerős Halász Judit dalaira épül. A Félálom (1990) és a Jó éjt, királyfi (1993) a fiatalok értékvesztésével foglalkozik: az első hősei jövőkép nélkül bolyonganak, a második szereplői már nem tudják, hogy mi a valóság és mi az, amit videokamerájukkal forgattak.

A kilencvenes években a rendezői székből a produceribe ült át, olyan nagy sikerű filmek létrejöttében működött közre, mint a Szeressük egymást, gyerekek, a Sztracsatella, a Csinibaba, A játékos, a Tamara és a Rokonok. Csak az új évezredben rendezett ismét, a 41. filmszemlén, 2010-ben mutatták be Csiribiri című koncertfilmjét, főszerepben feleségével, Halász Judittal.

Rózsa János 1976-os megalakulása óta tagja volt az Objektív Filmstúdiónak, később stúdióvezető-helyettese, majd művészeti vezetője lett. A stúdió éléről 2011-ben távozott.

1983-ban elnyerte a manilai fesztiválon a legjobb rendezés díját, 1987-ben a Magyar Filmszemle fődíját. 1982-ben a gijóni fesztiválon a legjobb játékfilm díját kapta. 1984-85-ben a Washingtoni Egyetemen, 1993-ban a Los Angeles-i Egyetemen volt vendégprofesszor. 1999-től az Európai Filmakadémia tagja. A Balázs Béla-díjat 1979-ben kapta, 1987 óta érdemes művész. 2009-ben Kossuth-díjjal tüntették ki nagy közönségsikert arató filmjeiért, több évtizedes művészi életútja elismeréseként. 2010-ben a Magyar Mozgókép Mestere díjban részesült.