Loewe, aki zeneszerzést Ferruccio Busonitól és Eugène d’Alberttől tanult, 1924-ben apját követve az Egyesült Államokba utazott, ám annak ellenére, hogy célja a Broadway meghódítása volt, egy évtizedig nem hallatta hangját. Anyagi körülményei általában nem voltak túl rózsásak, előfordult, hogy a Central Park padján töltötte az éjszakát. New York németek lakta negyedében élt, és ottani klubokban zenélt, és némafilmeket kísért. Utóbbit sosem a meglevő kották alapján tette, hanem saját ötleteit vitte a nézők elé. Egy alkalommal az Egyesült Államok himnuszának dallamára improvizált, amikor a mozi tulajdonosa kirúgta. A gazdasági válság idején nyugatra indult, Montana államban például postásként dolgozott, de egy év múlva újra New Yorkban találjuk.

1934-ben megírta a Petticoat Fever című Broadway-darab zenéjét, két évvel később már számos Broadway-revü plakátját találjuk nevét, 1937-ben kezdődött együttműködése Earle Crooker szövegíróval (Salute to Spring, Great Lady), de próbálkozásaival átütő sikert nem ért el. 1942-ben a Lambs nevű New York-i színházi klubban találkozott Alan Jay Lemerrel, és arra kérte, hogy a Salute to Spring című darabot írja át egy detroiti producer számára. Következő két munkájuk (What’s Up?, The Day Before Spring) megbukott, ám 1947-ben a Brigadoon végre elnyerte a kritika és a közönség kegyeit. 1951-ben megírták a Paint Your Wagon című zenés játékot, 1956-ban pedig elkészült az a mű, amivel Loewe a színház-, majd a filmtörténetbe is beírta a nevét: a My Fair Lady minden idők egyik legsikeresebb és leghosszabb ideig futó amerikai musicalje lett. A Broadway-szereposztással kiadott lemezből több mint ötmillió példány fogyott el, Loewe 16 dalából azóta számtalan feldolgozás készült. Két évvel később következett a Gigi, 1960-ban pedig a Camelot. Utóbbi készítése közben a szerzőpáros összekülönbözött, és tíz évre elváltak útjaik; csak az eredetileg filmre szánt Gigi színpadi változatának elkészítésére békültek ki. 1974-ben a páros együtt írta A kis herceg című film zenéjét, amit ők egyszerűnek szántak, a hollywoodi producerek azonban áthangszereltek és túldúsítottak. A komponista annyira nem értett egyet a változtatásokkal, hogy a londoni stúdiófelvételre el sem utazott.

A három Tony-díjat nyert (1957 – My Fair Lady – a legjobb musical és legjobb zeneszerző, 1974 – Gigi – a legjobb dal) Frederick Loewe 1988. február 14-én a kaliforniai Palm Springsben hunyt el.