Rameau 1683. szeptember 25-én született egy dijoni muzsikus családban, amikor első zeneóráit vette orgonista apjától, még írni-olvasni sem tudott. Bár apja jogásznak szánta, ő Milánóba ment zenét tanulni, ezután operatársulatoknál volt hegedűs, majd apja örökébe lépve Dijon, később pedig Clermont város orgonistája lett. 1706-ban adta ki első, csembalóra írt kompozícióit, emellett motettákat és kantátákat is komponált, ezeket később operáiban "újrahasznosította". 1715-ben kezdett hozzá hét évvel később megjelent Értekezés a harmóniáról című zeneelméleti tanulmányának, amely a mai összhangzattan-tankönyvek alapja lett.

Az immár híres Rameau Párizsba akart menni, felettesei viszont vonakodtak elengedni. A makacs muzsikus dühében tudatosan fülsértő disszonanciákkal orgonált, sőt előfordult, hogy egy istentiszteleten két akkord után otthagyta az orgonát. A clermontiak végül engedtek, Rameau pedig élete hátralévő részét a fővárosban töltötte. 1724-ben megjelentette Csembalódarabok ujjgyakorlatokkal című művét, keresett csembalótanár lett. Vidám vásári színházi darabokhoz is írt dalokat, majd önálló művek komponálására is felkérést kapott, ekkoriban született A vademberek című műve, amelynek motívumait egy évtizeddel később a Gáláns Indiák című opera-balettjében is felhasználta.

A zeneszerző 43 éves volt, amikor elvett egy 19 éves énekesnőt, aki később több darabjában is szerepelt. Egyik tanítványa gazdag férjében mecénásra is talált, ismeretséget kötött a kor vezető íróival és librettistáival és ötvenévesen megírta első operáját. Az operatörténeti fordulópontnak számító, "Rameau Don Giovannijának" nevezett Hippolütosz és Aricia bemutatóján a nézők között ott ült Voltaire is. (A mű Magyarországon 2011-ben hangzott fel először, s ez Rameau első alkotása, amelyet az Operaház tavaly műsorára tűzött.) A premier után valóságos háború kezdődött Lully és Rameau hívei között: az olasz opera befolyását ellenző "lullysták" idegenkedtek Rameau hangszerelésétől, "túl soknak" találták a zenét műveiben, míg Rameau követőinek célja a francia opera megújítása volt. Rameau maga így nyilatkozott: "Lully operáihoz színészekre van szükség, az enyémekhez pedig énekesekre".

Rameau több mint harminc színpadi zenés művet (opera-balettet, lírikus tragédiát) szerzett, egyik legnagyobb sikerét a Castor és Pollux című operával aratta. Több alkalommal dolgozott Voltaire librettója alapján (Sámson, Navarra hercegnője, A dicsőség temploma). 1745-ben komponálta Polümnia ünnepei című opera-balettjét, ugyanebben az évben XV. Lajos udvari kamarazene-szerzővé nevezte ki. A Pygmalion című operát három évvel később néhány nap alatt írta, az Ozirisz születése címűt XVI. Lajos születése alkalmából komponálta. Az 1750-es években, amikor Pergolesi egy operája kapcsán újabb vita bontakozott ki a zenei életben, Rameau a francia nemzeti opera oldalára állt az opera buffa és a francia zenét elolaszosító áramlat híveivel szemben.

Rameau a francia nagyopera megújítója és kiváló hangszerelő is volt, ő használt először klarinétot a zenekarban. Őt tekintik a zenetörténet első összhangzattan-teoretikusának, aki felismerte, hogy nem a dallam és nem az ellenpontozás strukturálja igazán a zenét, hanem az akkordkapcsolatok rendszere; a harmónia elsőbbségét hangsúlyozta, s előkészítette a tonalitás tanát. Kortársai a zene Isaac Newtonjának is nevezték, mert a zenének filozófiai dimenziókat kölcsönzött.

Az élete végén nemesi rangra emelt komponista utolsó heteiben Les Boréades című művét tanította be, a próbákon a feltételezések szerint jelen volt a nyolcesztendős Mozart is. Jean-Philippe Rameau alig két héttel 81. születésnapja előtt, 1764. szeptember 12-én hunyt el, műveinek összkiadását több mint egy évszázaddal később Camille Saint-Saëns irányította.