Első zenetanára édesapja - szintén hegedűművész és amatőr zenei társaságok karmestere volt. 1865-től a szülővárosában található konzervatóriumban folytatta tanulmányait. Rendszertelenül járt órákra, amelyek 1869-től 1872-ig teljesen megszakadtak. Ekkor Massart osztályában tanult tovább. 1874-ben ezüstdíjat nyert egy versenyen, jutalmul Brüsszelben Henryk Wieniawskitől vehetett órákat. 1875-ben a párizsi Konzervatóriumban Vieuxtemps karolta fel. 1879-ben Berlinben a Bilse zenekar vezetője lett. Anton Grigorjevics Rubinstein segítségével 1882-től egymaga járta a világot, hegedű szólistaként turnézott. Hangversenykörútja során Budapesten is járt. 1886-1898 között a brüsszeli Konzervatórium professzora volt, és az 1886-ban általa létrehozott Ysaÿe -  kvartettet vezette. Tevékenységének csúcsán, 1894-től képességét világszerte megismerték, Amerikában is koncertezett. Kufferath, Ysaÿe tiszteletére Szimfonikus Koncerttársaságot alapított, amelynek hangversenyein modern zenét is játszottak. Ez a hely hamarosan a belga zenei élet középpontjává vált. 1918-tól a Cincinnati Szimfonikusok karmestere lett. 1922-ben visszatért Belgiumba, és zenekari, majd 1923-tól kamarazenei koncerteket adott. 1931. május 12-én hunyt el Brüsszelben.  

Korának nagy virtuóza volt, de technikai tudását mindig a zenei kifejezés szolgálatába állította. Virtuozitásával iskolát teremtett. Többek között 1886-ban Franck az A-dúr hegedűszonátát, 1893-ban Debussy a g-moll vonósnégyest neki, illetve vonósnégyesének ajánlotta. Az iskolateremtő belga hegedűművész, karmester, zeneszerző (mellesleg szenvedélyes horgász és sörivó), 1923-ban komponált Hat szonátájával (szóló hegedűre, op. 27) neves hegedűs pályatársai előtt kívánt tisztelegni. Az elsőt a magyar Szigeti Józsefnek, a másodikat a francia Thibaud-nak, a harmadikat a román Enescunak, a negyediket az osztrák Kreislernek, az ötödiket a belga Crickboomnak, a hatodikat pedig a spanyol Quirogának ajánlotta. Ismertebb alkotásai közé tartozik még hegedűversenyei mellett, többek között - Szonáta gordonkára (op. 28), Szonáta két hegedűre, két vonós trió, egy kvintett, és egy eredeti-, talán az egyetlen vallon nyelvű opera (Piere li houyeu, bemutató 1931 Erzsébet királyné jelenlétében). 1937-ben tiszteletére alakult meg Brüsszelben a Concours International Ysaÿe.