Avery Winnipegben (Ontario állam) született, majd hatéves korában családja a kaliforniai Big Bear Lake-be költözött. Egy ideig a Kaliforniai Egyetemre (UCLA) járt mielőtt pilótának állt 1943-ban. A II. világháború idején kezdett fotózni, így örökítve meg élményeit egy 35 mm-es géppel, melyeket repülései alkalmával szerzett a Csendes-óceáni handszíntéren.

A háború után Avery lemezboltot nyitott a kaliforniai Glendale-ben, Rare Records néven. Jazz-zenészek is rendszeresen jártak hozzá, különösen az 50-es évek elején, amikor a bebop új irányzatnak számított. Avery mindent és mindenkit megörökített gépével mind a boltjában, mind a klubokban. A lemezborítókon kívül könyvekben és dokumentumfilmekben is feltűntek képei. 1990-ben megalapította a Dél-Karolinai Jazzfotográfusok Egyesületét, 1997-ben pedig kiadta a Stars of Jazz gyűjteményt, mely az 50-es években sugárzott azonos című TV-sorozatról emlékezett meg.