Jómódú nemesi családba született a Szmolenszk kormányzóságbeli Novoszpasszkojéban. Apja visszavonult katonatiszt volt. Gyermekkorát apja birtokán töltötte, itt kapta első zenei élményeit, de nagy hatással volt rá a dadájától és a jobbágyoktól hallott népzene is. Nagyanyja nevelte és kényeztette, még a széltől is óvta. Mikor a nagymama meghalt, az ekkoriban 10 év körüli fiú az anyai nagybácsi szomszédos birtokára került, ahol olyan képzett zenekar működött, amelynek a repertoárján Haydn, Mozart és Beethoven művei is szerepeltek. Érdekes, hogy az említetteken kívül egy finn komponista, Crusell klarinét ötöse volt rá igazán nagy hatással. A nevelőnőtől németül és franciául tanult, de kapott földrajz, zongora és hegedű órákat is.
Rendszeres zenei képzésben nem részesült, így autodidakta muzsikus maradt. Apja köztisztviselőnek szánta, és 1817-ben a szentpétervári Nemesi Intézetbe küldte, ahol latint, angolt és perzsa nyelvet, matematikát és más tárgyakat tanult. Emellett magánúton zeneórákat vett: zongoratanára John Field, a kor neves angol zongoristája és zeneszerzője volt. Elkezdett komponálni is, divatos operatémákat dolgozott fel, dalokat írt. Iskolai tanulmányai befejezése után apja külügyminisztériumi állást szerzett számára, ami mellett rengeteg ideje maradt a zenével való foglalkozásra. Részt vett a szentpétervári elit társadalmi eseményein, és első zenei zsengéit az ottani szalonokban adta elő, ahol egyre kedveltebb előadó lett. 1830-ban orvosi tanácsra Olaszországba utazott. Milánóban megismerkedett a kor olasz zenéjével, Rossini, Bellini és Donizetti operáival. Emellett az ellenpontozásos technikával is ismerkedett. A konzervatórium tanárától, Francesco Basilitól vett órákat. Közel három évet töltött Milánóban, ezután Bécsbe utazott, ahol hallotta zenélni Liszt Ferencet. A következő állomás Berlin volt, ahol annál a Siegfried Dehn zenetanárnál tanult zeneszerzést, aki Mendelssohn mellett a bachi reneszánsz hajtóereje volt. Ebben az időszakban már oroszos témák foglalkoztatták, ekkor írta Capriccio orosz témákra és a befejezetlen Szimfónia két orosz témára című darabjait. 1834-ben meghalt édesapja, a hírre a zeneszerző hazatért Oroszországba. Berlinben beleszeretett egy szép énekesnőbe (dalt is írt számára), úgy tervezte, hogy otthoni ügyei elintézése után visszautazik érte. El is indult, de végül feladta a tervét, és visszatért az anyjához, Szentpétervárra. Nála ismerkedett meg egy Maria Petrovna Ivanova nevű hölggyel, akit nemsokára feleségül vett, de a házasság csak rövid életű volt.
Közvetlenül hazatérése után Georgij Fjodorovics Rozen megírta az Ivan Szuszanyin című operaszövegkönyvet számára (hivatalos címe – Életünket a cárért volt). A történet III. Zsigmond lengyel király Oroszország elleni támadása idején játszódik. A lengyelek elfogják Ivan Szuszanyint, és arra kényszerítik, hogy vezesse el őket az orosz főerőkig. Szuszanyin azonban az erdő mélyébe vezeti őket, mire a lengyelek megölik. Az oroszok győznek a kelepcébe csalt ellenség felett, és megünneplik Szuszanyin hőstettét. Glinka 1836-ra készült el a komponálással, és még abban az évben, december 9-én mutatták be Catterino Cavos vezényletével. A darab nagy sikert aratott, de többen kifogásolták "paraszti" hangvételét. A zene még részben olaszos stílusjegyeket is visel magán, de előremutat a későbbi nagy orosz zene irányába is. 1837-ben kinevezték a Cári Kápolna Kórus vezetőjének, komoly fizetéssel. A kórust hamarosan kibővítette 19 új fiúénekessel, akiket személyesen toborzott Ukrajnában. Belekezdett második operája, a Ruszlán és Ludmilla komponálásába.
A történetet Puskin elbeszélése alapján Konsztantin Bahturin költő írta, a legenda szerint részegen és 15 perc alatt. A mese szerint Ludmilla hercegnő kezéért három ifjú verseng - ő Ruszlánt választja. Közben a lányt Csernomor, a gonosz törpe elrabolja, és varázslatos álmot bocsát rá. Ruszlán keresésére indul, megtalálja az alvó lányt és elindul vele hazafelé. Út közben két vetélytársa elrabolja tőle a hercegnőt, de az álmot nem tudják feloldani. Ruszlánnak sikerül egy finn varázsló segítségével, így ő lesz Ludmilla férje. A zene eredeti keleti népi dallamokon alapul. A bemutató 1842. december 9-én volt, napra pontosan a Szuszanyin bemutatása után hat évvel. A fogadtatás meglehetősen hűvös lett, bár Liszt kedvezően nyilatkozott az operáról. A közönyös fogadtatás nagyon lesújtotta a zeneszerzőt, ezért 1844-ben – kiábrándultan és elkeseredetten – Párizsba utazott. Itt Berlioz bemutatta a Ruszlánból készült szvitet, ráadásul dicsérő hangú kritikát írt róla.
Hazatérése (1847) után spanyolországi utat tervezett, de a hatóságok akadályozása miatt csak nehezen tudott elutazni. 2 évet töltött Spanyolországban, tanulmányozta a spanyol népi dallamokat és írt is néhány spanyolos hangulatú darabot. Ezután 3 évig Varsóban élt. 1855-ben Szentpéterváron megismerkedett a még fiatal Balakirevvel, akiben zenei nézetei lelkes követőjére talált. Hamarosan csatlakozott hozzájuk Muszorgszkij, Rimszkij-Korszakov és Kjui. A fiatal szerzők zenészkört alakítottak az orosz zene megújítására, akikhez később csatlakozott Borogyin is - így alakult ki az Ötök csoportja – Glinka támogatásával. 1856-ban Berlinbe utazott, hogy meglátogassa régi tanárát, Siegfried Dehnt. A nagy nemzetközi siker 1857-ben, mindössze két héttel halála előtt jött el Meyerbeer jóvoltából, aki hatalmas sikerű koncertet rendezett műveiből. Berlinben érte a halál február 15-én. Hamvait később díszes körülmények között szállították haza és temették el a szentpétervári Tyihvin temetőben.