Apja osztrák katonatiszt, anyja dunántúli köznemesek sarja volt. Apja halála után a család Székesfehérvárra költözött, ahol a ciszterci gimnáziumban folytatta tanulmányait. Budapesti, berlini, müncheni és párizsi egyetemi évek után, 1898-ban a budapesti egyetem állam- és jogtudományi karán a politikai tudományok doktorává avatták. Ezt követően állami szolgálatba lépett: 1898 és 1910 között a miniszterelnökség munkatársa, majd osztályvezetője, 1914-ig a Közigazgatási Bíróság, majd a Hatásköri Bíróság tagja volt. Tisza István második kormánya idején, 1914 januárja és 1917 márciusa között a Vallás-és Közoktatásügyi Minisztérium államtitkára, majd 1917. márciustól júniusig a miniszterelnökség politikai államtitkára lett. 1917-1918-ban a Nemzeti Munkapárt képviselőjeként részt vett az Országgyűlés munkájában.

1919 februárjában Bethlen Istvánnal közösen alapították meg a Nemzeti Egyesülés Pártját. A Tanácsköztársaság idején a letartóztatás elől bujkálni kényszerült vidéken. 1920-tól a Keresztény Nemzeti Párt, 1922-től 1931-ig az Egységes Párt országgyűlési képviselője, 1921-22-ben a Bethlen-kormány belügyminisztere, 1922 júniusától vallás- és közoktatásügyi minisztere volt. 1922-ben a Magyar Tudományos Akadémia tiszteleti, 1924-től igazgató tagja volt. 1930-ban asz elsők között kapta meg a Horthy Miklós kormányzó által alapított Corvin-láncot. Klebelsberg a Trianon után csonkán maradt ország megmaradásának és naggyá tételének egyetlen lehetőségét a művelődés fejlesztésében látta. Konzervatív reformjaival egy erős, európai szintű, művelt polgári középosztály megteremtése és hatalomra juttatása volt a célja. Úgy vélte, hogy a tehetséges vezetők megtalálásában és kiválasztásában a középiskoláknak van meghatározó szerepük. A vezető- és posztgraduális képzés céljából hozta létre Nyugat-Európában a Collegium Hungaricumok hálózatát: 1924-ben Bécsben és Berlinben, 1927-ben Rómában, Párizsban és Zürichben nyílt ilyen intézmény.

Magyarországon először ő dolgozott ki tudománypolitikai koncepciót. A kutatások összehangolt fejlesztésére 1930-ban létrehozta az Országos Természettudományi Tanácsot, az anyagi támogatás biztosítására az Országos Természettudományi Alapot. A Széchenyi Tudományos Társaság 1927-es megalapításával az üzleti világ befolyásos embereit hozta kapcsolatba a tudósokkal. Nagy súlyt helyezett a Pozsonyról Pécsre költözött Erzsébet Tudományegyetem, a Kolozsvárról Szegedre telepített Ferenc József Tudományegyetem, valamint a debreceni Tisza István Tudományegyetem fejlesztésére. Felépíttetett továbbá 21 klinikát és három főiskolát - a testnevelésit Budapesten, a szegedit és a soproni erdészetit -, valamint a Tihanyi Biológiai Intézetet.

Kultúrpolitikájának másik pillére a tudományok terjesztése, a népoktatás és népművelés volt. Kultuszminisztersége idején zajlott le a magyar közoktatás egyik legnagyobb és legsikeresebb reformja. Óriási népiskola-építési programot indított el az Alföldön, három év alatt 5784 tantermet és 2278 tanítói lakást építtetett. Az iskolán kívüli népművelés fejlesztésére 1555 népkönyvtárat, 1500 iskolakönyvtárat és 500 óvodát is felállíttatott. Ezzel párhuzamosan került sor a polgári iskolák és a középiskolák reformjára, a középiskolák tananyagának korszerűsítésére, a tankötelezettséget 16 éves korra emelte. Nagy hangsúlyt helyezett a népegészségügyre, az egészségügy legsürgetőbb feladatának a gyermekhalandóság csökkentését és a gyermekbetegségek elleni harcot tartotta. Törvénnyel szabályozta a tehetséges falusi gyermekek felkutatását. Ő valósította meg először hazánkban a tudatos sportpolitikát és -diplomáciát, megépíttette a margitszigeti Nemzeti Sportuszodát.

Klebelsberg 1931 augusztusában, a Bethlen-kormány lemondásakor tíz év után megvált miniszteri posztjától. Nem sokkal később, 1932. október 11-én szívelégtelenség miatt Budapesten meghalt. A Nemzeti Múzeumban ravatalozták fel, majd innen Szegedre vitték, az ottani Fogadalmi templomban helyezték örök nyugalomra. A dómban 1935-ben elkészült jelképes sírja fölött a következő felirat olvasható: "Gondolattal, szóval, írással, alkotásokkal szolgálta hazáját és Szeged városát, virulása felett virraszt a feltámadásig." Halála után Klebelsbergnek valóságos kultusza volt. A halála után három évvel kiadott Gróf Klebersberg Kunó politikai hitvallása című munka előszavában a „legnagyobb álmú magyar kultúrpolitikusként” hivatkoztak rá. A második világháborút követően részben elítélték, részben elhallgatták tevékenységét, szellemi rehabilitációja csak a rendszerváltás után valósulhatott meg. Emlékére több díjat is alapítottak, 1939-ben Budapesten emlékművet avattak tiszteletére, nevét viseli több iskola, egy budapesti kulturális központ, a Klebelsberg Intézményfenntartó Központ, valamint 2011 óta a Szegedi Tudományegyetem könyvtára is.