Orosz anyjának és lengyel apjának felmenői között volt magyar és cseh is (állítólag dédapja Falk Miksa író, politikus volt). Egyik szemét hároméves korában veszítette el rákbetegség következtében, ennek helyén üvegszemet viselt. 15 évesen tengerésznek akart állni, de mivel látáshibája miatt hajószakácsnál feljebb nem vitte, inkább hazatért.

Peter Falkról 2005-ben utcát neveztek el szülővárosában, az utcanév tábláról az avatáskor nem a leplet, hanem Columbo jellegzetes esőkabátját rántották le.

Az iskola mellett foglalkozott rockzenével, diploma után a CIA-hoz jelentkezett, de elutasították. Végül egy költségvetési hivatalban kötött ki, a robot unalmát színészkedéssel enyhítette. 1955-ben már a Broadway-n szerepelt, de első filmszínészi próbálkozásai kudarc végződtek. Kezdetben még szerződést sem kapott, a Columbia stúdióból például így rúgták ki: "ennyi pénzért kétszemű színészt is kapunk".

Végül mégis kamera elé engedték, s 1960-ban már Emmy- és Oscar-díjra is jelölték a legjobb férfi mellékszereplő kategóriában., Frank Capra Egy maréknyi csoda című filmje szarkasztikus testőrének megszemélyesítéséért. Bár ezt nem kapta meg, 1962-ben az Emmy-díjat hazavihette; ebből a trófeából öt áll vitrinjében.

1968-ban osztották rá az egész pályafutását meghatározó Columbo tévésorozat címszerepét. A gyilkossági osztály szórakozott, kócos nyomozó hadnagyának legfőbb védjegye a gyűrött ballonkabát volt, szájában mindig szivar fityegett, járása lassú volt, kocsija viharvert és mindig elromlott. Távozáskor az ajtóban visszafordulva tett megjegyzést, amellyel zavarba hozta a mindenkori gyanúsítottat.

Peter Falk azonban remek színész is, aki a legnevesebb rendezőkkel forgatott. John Cassavetes-szel készítette a Férjek és az Egy hatás alatt álló nő című drámát, Wim Wenders-szel a Berlin felett az ég és a Távol és mégis közel című filmeket, Robert Altman A játékosában magát alakítva improvizált. Ezt követte a Neil Simon darabjából készült Napsugár fiúk című vígjáték Woody Allennel, a Vitathatatlan című akciófilm, hangját adta a Cápamese című animációs filmhez, utolsó munkája a Next - A holnap a múlté című thriller volt. 1972-ben Tony-díjat kapott Neil Simon A 88. utca foglya című színművében nyújtott alakításért.

Amikor 1996-ban a francia Művészeti Érdemrend lovagja lett, kissé ironikusan azt válaszolta a Columbo sorozat folytatására vonatkozó kérdésre, hogy a figurát öregen is el tudja képzelni. Legfeljebb rossz hallására hivatkozva megismételteti gyanúsítottaival a mondatokat, vagy segítséget kér tőlük, ha le akar menni a lépcsőn. Aztán mégis készült folytatás, a legutóbbi 2003-as epizódban a főszerep mellett a produceri munkát is magára vállalta.

A színész utolsó éveit beárnyékolta az Alzheimer-kór, gyámja 2008-tól második felesége, Shera Falk színésznő volt, akivel 34 évet élt le együtt. Peter Falknak az Alyce Mayo zongoraművésszel kötött, első házasságából két lánya született, Jackie és Catherine.