E' da tempo considerato un attore di grande talento e versatilità sia a teatro che sul piccolo e grande schermo. Per il suo ruolo in Little Miss Sunshine, Arkin ha vinto un Oscar® come Miglior Attore non Protagonista, un BAFTA, uno Screen Actors Guild Award per Migliore Interpretazione di un Cast in un Film e il Film Independent Spirit Award come Miglior Attore non Protagonista nel 2007. Arkin ha di recente finito di girare The Muppets, per i Walt Disney Studios.
Nato a New York, Arkin ha cominciato la sua carriera con la compagnia di improvvisazione di Chicago The Second City. Questo lo ha portato al suo primo ruolo a Broadway, come protagonista della piece di Carl Reiner Enter Laughing, per il quale ha vinto un Tony. L'anno successivo è di nuovo apparso a Broadway nel grande successo di Murray Schisgal Luv. Nel 1998, ha diretto, interpretato e co-scritto con Elaine May, lo spettacolo di grande successo Power Plays al Promenade Theatre. La prima regia teatrale di Arkin è stata l'acclamto Eh?, con Dustin Hoffman, al Circle in the Square Theatre. Ha poi vinto un Obie Award per aver diretto Piccoli omicidi di Jules Feiffer, seguito da The White House Murder Case, sempre di Feiffer. Tutti e tre questi spettacoli hanno riempito il Circle in the Square Theatre per parecchi anni. Queste produzioni sono state seguite da The Sunshine Boys, a Broadway; Rubbers and Yanks Three Detroit 0 Top of the Seventh, al The American Place Theatre; Joan of Lorraine, all' Hartman Theater di Stamford; The Sorrows of Stephen, al Burt Reynolds Jupiter Theater, con suo figlio Adam come protagonista; e Room Service, al Roundabout Theatre di New York.
Il primo film di Arkin, Arrivano i russi, arrivano i russi, gli è valso un Golden Globe come Miglior Attore e una nomination agli Oscar®. Ha ricevuto una seconda nomination agli Oscar® e un New York Film Critics Circle Award per la sua interpretazione in L'urlo del silenzio. Un secondo New York Film Critics Circle Award lo ha ricevuto a seguire per il suo ruolo in Pazzo pazzo West. I suoi altri film comprendono: City Island - Tutto quello che New York nasconde, Sunshine Cleaning, The Private Lives of Pippa Lee, Tredici variazioni sul tema, L'altra faccia di Beverly Hills, L'ultimo contratto, Americani, Jakob il bugiardo, Gattaca - La porta dell'universo, I perfetti innamorati, Edward mani di forbice, Piccoli omicidi (che ha anche diretto), Comma 22, Una strana coppia di suoceri, Havana, O que e isso companheiro?, Confessione finale, Joshua Then and Now, The Novice, Un amore sotto l'albero e Il gemello scomodo. Il suo film The Convincer, diretto da Jill Sprecher, è stato presentato in anteprima al Sundance Film Festival nel 2011. Ha scritto e diretto due cortometraggi: T.G.I.F. e People Soup. Il primo ha aperto il New York Film Festival e l'ultimo ha ricevuto una nomination agli Oscar® per Miglior Soggetto per un Corto (Live Action).
Arkin ha recitato nell'acclamata serie della A&E 100 Centre Street, scritta e diretta da Sidney Lumet. Le sue alter apparizioni televisive includono una performance candidata all'Emmy in The Pentagon Papers, per FX Networks, e Escape From Sobibor. Ha fatto un'apparizione guest come padre di suo figlio Adam Arkin in Chicago Hope, che le è valsa un'altra nomination agli Emmy, ed è anche apparso in Varian's War della Showtime.
Arkin ha diretto l'adattamento televisivo della piece di Broadway Twigs, con Carol Burnett, e The Visit, con Jeff Daniels, Swoosie Kurtz e Julie Hagerty, un episodio di Trying Times, che ha vinto molti premi internazionali.
Quando non è occupato a recitare o come regista, Arkin dedica il suo tempo alla musica e alla scrittura. Ha scritto molti libri, compresi otto libri per bambini, l'ultimo dei quali si intitola "Tony's Hard Work Day." Un suo libro precedente, "The Lemming Condition" ha continuato a vendere senza sosta per 30 anni ed è stato onorato dall' American Booksellers Association con un posto nella Biblioteca della casa Bianca. A marzo 2011, Arkin ha pubblicato con la Da Capo Press un memoir dal titolo "An Improvised Life".