1893. február 21-én született Spanyolországban, Linares városban. 5 éves volt, amikor Granadába került nagybátyjához, ahol a gitár hangja, melyet flamenco gitárosoktól hallott először, rabul ejtette. 10 éves korában megkapta első gitárját, ettől kezdve minden idejét igyekezett a gitározásnak szentelni. Autodidakta módon tanult, 16 évesen az iskolát is otthagyta, hogy még több időt szánhasson hangszerére. Ekkor már végleg döntött a gitárművészi pálya mellett, s megtartotta első nyilvános koncertjét. Ezután Sevillában egy év alatt 16 koncertet adott, elnyerve ezzel jó néhány tehetős pártfogó bizalmát, akik a fiatal művész pályáját anyagilag is hajlandóak voltak támogatni.

A következő években Segovia bejárta a legjelentősebb spanyol nagyvárosokat, mindenhol sikert sikerre halmozva. 1913-ban sor került madridi debütálására is. Egy hasonlóan nagy sikerű gitáros, Miguel Llobet meghívására Barcelonában három koncertet adott, melyet 1919-ben egy dél-amerikai koncertkörút követett, hazájába visszatérve pedig Victoria spanyol királynő előtt játszott az uralkodó madridi palotájában. 1920-tól kezdve rendszeresen koncertezett Európa nagyvárosaiban, 1924-ben Londonban és Párizsban, 1926-ban Moszkvában. Az amerikai közönségnek 1928-ban mutatkozott be a New York-i Town Hallban. Bárhol is hallgatta őt a közönség, játéka mindenkit rabul ejtett.

Segovia ihletésére a század legnagyszerűbb művei születtek meg. Többek között Federico Moreno Torroba, Manuel Ponce, Heitor Villa-Lobos, Mario Castelnuovo-Tedesco, Joaquin Turina, Joaquin Rodrigo dedikálták neki gitárműveiket. A spanyol polgárháború és a II. világháború évei alatt Segovia New Yorkban és Uruguayban élt. 1947-ben Segovia ösztönzésére készültek el az első nylon gitárhúrok, mely igen nagy előrelépést jelentett a hangszer fejlődésében. Pályája csúcsán, az '50-es és '60-as években évente 100 koncertet adott, 1961-ben először az ausztrál közönség is megcsodálhatta. Számos országban tartott mesterkurzusokat, melyeken utódait, a hangszer mai legnagyobb mestereit nevelte ki. Haláláig koncertező művész volt. 90 éves születésnapját amerikai és japán koncertkörutakkal ünnepelte. 1987. június 2-án halt meg Madridban.