1905. szeptember 5-én született Budapesten, Kestler Henrik (eredeti keresztnevén Heiman) textilgyáros, posztónagykereskedő, feltaláló, és Jeiteles Adéle gyermekeként. Zsidó családban nő fel, de nem kap vallásos nevelést. Gyermek- és ifjúkorát Magyarországon tölti. Apja találmányai, mint például a borítékfelnyitó szerkezet vagy a radioaktív szappan, nem érnek el átütő sikert.

Családja anyagi okokból Bécsbe költözik.

Egyetemi tanulmányait Bécsben végzi. A bécsi egyetemen elektrotechnikát és pszichológiát tanul. Egyetemi évei alatt ismerkedik meg a cionista mozgalommal, s annak egyik vezetőjével, Vladimir Jabotinskyval, akinek később titkára lesz.

Április 1-jén tanulmányait félbeszakítja és Palesztinába vándorol. Előbb kibuc-tag, majd egy bazárban limonádéárus, hirdetésekkel ügynököl, építésznek készít rajzokat és a Neue Freie Pressének küld cikkeket, majd az Ullstein cégnek lesz közel-keleti tudósítója (Irak királyát, Feisált is sikerült meginterjúvolnia).

Júniusban Párizsba helyezteti át magát az Ullstein cég által.

A Nobel-díjas fizikus De Brogliéval készített, nagy feltűnést keltő interjúja eredményeképpen a berlini Vossische Zeitung tudományos rovatvezetőjévé nevezik ki.

A Berliner Zeitung am Mittag külpolitikai szerkesztője. Felvételét kéri a német kommunista pártba; miután párttagsága kiderül, meg kell válnia az Ullstein vállalattól. (Koestler 1932 és 1938 között volt a párt tagja.) Interjút készít Einsteinnel; Zeppelin léghajóján az Északi-sarkra utazik (az egyetlen újságíró az expedíció személyzetében). 

Egy évet a Szovjetunióban tölt: beutazza az Ararat-hegy és Baku térségét, majd Türkmenisztánban és az afgán határnál is megfordul. Harkovban cenzúrázva kiadják németül a szovjet rendszert dicsőítő könyvét, Von Weissen Nächten und Roten Tagen címmel. Orosz és más nyelvű kiadásokra már nem kerül sor. (Koestler később nem engedélyezte, hogy bibliográfiájában ezt a könyvet felsorolják.)

Hitler hatalomra jutását követően újra Párizsban él, ezúttal független tudósítóként dolgozik 1936-ig, emellett a Hitler ellenes Zukunft (Jövő) című hetilapot szerkeszti. Életének ezt a szakaszát utóbb a Nyílvessző a végtelenbe (1952) és a Láthatatlan írás (1954) című életrajzi köteteiben dolgozza fel.

Encyclopaedia of Sexual Knowledge és L’Encyclopedie de la Famille címmel ismeretterjesztő „szexológiai” kiadványokat gyárt dr. Costler álnéven, melyeket későbbi bibliográfiáiban nem enged feltüntetni. Antifasiszta munkásságát tovább folytatja.

A The Gladiators című történelmi tárgyú (valójában a kommunista mozgalom erkölcsi kérdéseit feszegető) regényén dolgozik.

Házasságot köt Dorothy Asherrel; 1950-ig élnek együtt.

Komintern-megbízatással Spanyolországba utazik, hogy francia lapok számára a polgárháborúról tudósítson. 1937-ben Franco erői Malagában letartóztatják és halálra ítélik. Három hónapos sevillai raboskodás után a Nemzetközi Vöröskereszt egy túszcsere folytán sikeresen kiszabadítja. Tapasztalatait az 1937-ben megjelenő Spanish Testament című könyvében írja meg – átdolgozott változata 1942-ben Dialogue with Death címmel jelenik meg. (Az 1937-ben németül kiadott és propagandával alaposan kiszínezett, Menschenopfer Unerhört és a franciául a L’Espagne ensanglantée címmel megjelent változatokat nem tünteti fel későbbi bibliográfiájában.) Interjút készít Sigmund Freuddal.

Tavasszal hivatalosan is bejelenti, hogy kilép a kommunista pártból. Végső és teljes kiábrándulása (saját szavai szerint) akkor következett be, „mikor a horogkeresztes lobogót Moszkva repülőterén felhúzták a látogatóba érkezett Ribbentrop tiszteletére és a Vörös Hadsereg rezesbandája rázendített a Horst Wessel Liedre”.

Megjelenik a The Gladiators című regénye.

Franciaországban a német megszállást követően a Le Vernet-i internálótáborba zárják, mint megbízhatatlan külföldit és baloldalit.

Miután kiengedik az internálótáborból, álnéven az idegenlégióba áll, hogy a német megszállók elől megmeneküljön. Marseille-en át Portugáliába, majd Angliába szökik, ahol beutazási engedély hiányában a Pentonville börtönbe zárják.

Londonban, angolul megjelenik a Sötétség délben (a németül írt kéziratot Koestler élettársa, Daphne Hardy fordította; Darkness at Noon, J. Cape Kiadó). A regény nem kelt nagy kritikai visszhangot, s mindössze 4000 példány fogy belőle.

Az angol hadseregben utászként szolgál, majd az információs szolgálathoz kerül.

A The Scum of the Earth (A Föld söpredéke) című könyv megjelenése.

Kiadják az Arrival and Departure (Érkezés és elindulás) című regényét. Emlékezetből újra írja a Twilight Bar című színdarabját. Megismerkedik Mamaine Paget-vel, későbbi második feleségével.

A The Times palesztinai tudósítója.

Megkapja a brit állampolgárságot, és Észak-Wales-be költözik, George Orwell közeli barátja lesz. Megjelenik a The Yogi and the Commissar (A jógi és a komisszár) című esszégyűjteménye és a Twilight Bar című színdarabja.

Megjelenik a palesztinai élményeit összefoglaló Thieves in the Night (Mint éjjeli tolvaj) című regénye, valamint a Sötétség délben francia fordításban, amely immár nagy sikert arat, több mint 400 000 példányban kel el.

Az Egyesült Államokba és Izraelbe utazik.

Megjelennek az Insight and Outlook és a Promise and Fulfilment. Palestine 1917–1949 (Ígéret és beteljesedés. A zsidó állam születésének története, 1917–1949) című kötetei.

Előző házasságára kimondják a válást és házasságot köt Mamaine Pagettel, akivel 1952-ig él együtt. Szigetet vesz Pennsylvaniában, a Delware folyón és oda vonul vissza írni. Ekkor már együtt dolgozik titkárnőjével, Cynthia Jefferies-szel, későbbi (harmadik) feleségével.

A Broadway-n színre viszik a Sötétség délben Kingsley Martin által írt színpadi változatát. Koestler elégedetlen az átírás minőségével, és bírósági úton próbálja meg az előadást letiltani, de nem jár sikerrel. Megjelenik a The Age of Longing(A vágyakozás kora) című regénye.

Önéletrajzának első részét az Arrow in the Blue (Nyílvessző a végtelenbe) címmel foglalja össze, melyben életének 1905-től 1931-ig terjedő időszakát dolgozza fel: fiatal- és diákéveit, palesztinai tartózkodását, valamint a Közel-Keleten, Párizsban és Berlinben újságíróként megélt kalandjait.

Visszaköltözik Londonba. Elválik Mamaine Pagettől.

Megjelenik önéletrajzának második része, The Invisible Writing (A láthatatlan írás) címmel. Ebben a kommunista pártba való belépésétől a második világháborúig terjedő éveit írja meg. 

A halálbüntetés eltörléséért dolgozik.

Megjelenik a The Trail of the Dinosaur (A dinoszaurusz nyomában). Az esszékötet előszavában jelenti be, hogy műveiben ezután felhagy a politikai témákkal.

Megjelenik a Reflections on Hanging című esszékötete.

Déry Tibor, Gáli József és Obersovszky Gyula életének a megmentésében vesz részt. Indiába és Japánba utazik. Abban bízik, hogy a keleti kultúrákban maradt még annyi spirituális erő, hogy azok a nyugat-európai társadalmak lelki támaszaivá válhatnak. Koestler csalódott, nem találja meg azt, amit remélt. Az angol Royal Society of Literature tagjává avatják.

Tudományfilozófiai trilógiája első kötetének, a The Sleepwalkers (Alvajárók) megjelenése.

Megjelenik a The Lotus and the Robot (A lótusz és a robot) című kétkötetes munkája, amely indiai és Japán-beli tapasztalatait foglalja össze.

Megjelenik a Cecil Hewitt Rolph-fal közösen írt kötete, a Hanged by the Neck.

Képzőművészeti alapítványt létesít börtönben élők számára, hogy kreativitásuk kiteljesítésével támogassa őket.

Suicide of a Nation? címmel Anglia gazdasági problémáiról szóló tanulmánykötetet szerkeszt.

Rövid látogatást tervez Magyarországra, ám a magyar külügyminisztérium feltételül szabja, hogy nem írhat a hazai viszonyokról. Koestler a feltételt nem fogadja el. Meghívják a Stanford Universityre (Kalifornia). Sidney Hook, a New York University világhírű filozófusa Albert Schweitzerről elnevezett katedrát ajánl fel Koestlernek. Megjelenik tudományfilozófiai trilógiájának második kötete, a The Act of Creation (A teremtés).

Házasságot köt titkárnőjével, Cynthia Jefferies-szel. Előadássorozatot tart az Egyesült Államok különböző egyetemein. Hat hónapot tölt a Palo Alto-i „agytröszt”-ben.

Cikke jelenik meg a Sunday Telegraph-ban az angol-amerikai drogkultuszról, Return Trip to Nirvana (Retúrjegy a Nirvánába) címmel. Vitába szállt Aldous Huxley hallucinogénokat érintő nézeteivel. Megjelenik tudományfilozófiai trilógiájának befejező darabja, a The Ghost in the Machine (Szellem a gépben). Az Encyclopedia of Philosophy (New York) közli Keplerről szóló írását.

Sonning-díjjal tünteti ki Koppenhága egyeteme (Winston Churchill, Bertrand Russell és Laurence Olivier után Koestler a negyedik, akinek ezt a kitüntetést adományozzák). Az ausztriai Alpbachban tudományos szimpóziumot szervez. A Queen’s University (Ontario) meghívásának eleget téve vendégelőadást tart, majd tiszteletbeli jogi diplomát (LLB) nyújtanak át neki. Megjelenik a Drinkers of Infinity című esszékötete.

Ausztráliába utazik előadássorozatot tartani, majd Puerto Ricóban az American College of Neuro-Psychopharmacology szimpóziumán vesz részt, később a Duttweiler Alapítvány által rendezett Drugs and Addiction szimpózium elnöke Zürichben. Szerkesztésében megjelenik a Beyond Reductionism. New perspectives in the life sciences. The Alpbach Symposium című tanulmánykötet. Előadást tart a World Psychiatric Association londoni konferenciáján, majd Cheltenham Festivalon is.

Megjelenik a Kammerer osztrák biológusról és a lamarcki–darwini elméletek ellentétéről szóló The Case of the Midwife Toad (A dajkabéka esete) című esszékötete. Érdeklődése a 70-es évektől egyre inkább a parapszichológia felé fordul.

Elnyeri a The Order of the British Empire érdemrend parancsnoki fokozatát. Megjelenik a The Roots of Coincidence című esszékötete és a The Call Girls (Szajhák) című utolsó regénye. Megalapítja a Koestler Alapítványt azzal a céllal, hogy parapszichológiai kutatásokat támogasson. Ettől kezdve csak tudományos műveket ír.

Megjelenik a Sir Alister Hardyval és Robert Hardyval közösen írt The Challange of Chance című könyve.

A The Heel of Achilles megjelenése. Az Encyclopaedia Britannica közli a humorról írt tanulmányát.

Hetvenedik születésnapjára kiadják az Astride the Two Cultures című kötetet, Harold Harris szerkesztésében.

Megjelenik a kazár birodalom széthullásáról és a kelet-európai zsidóság feltételezett eredetéről szóló könyve, TheThirteenth Tribe (A tizenharmadik törzs).

Janus: A Summing Up című esszékötet megjelenése.

Bricks to Babel (Koestler korábbi műveiből való válogatott részletek, a szerző megjegyzéseivel és utólagos magyarázataival).

A Kaleidoscope című kötetének megjelenése.

Koestler idős korára Parkinson-kórban és részleges leukémiában szenvedett. Egész életében az eutanázia aktív támogatója volt. Feleségével, az egyébként egészséges Cynthiával együtt követ el öngyilkosságot; gyógyszer-túladagolásban haltak meg. Végrendelete szerint teljes vagyona és írói öröksége az Edinburghi Egyetem Parapszichológia Tanszékére szállt. Az Angol Királyi Akadémián (Royal Academy) gyászünnepséget tartottak tiszteletére.

Befejezetlenül maradt önéletírásának poszthumusz kötete, a Stranger on the Square megjelenése.