Amikor 1881-ben Amszterdam akkoriban legjelentősebbnek számító koncerttermét műszaki okokból lerombolták, a helyi sajtó újabb bizonyságát látta annak, hogy az állam egyáltalán nem törődik a művészettel. Két lehetséges helyszín maradt ekkor az amszterdami koncertélet túlélése számára: a meglehetősen kicsi Felix Meritis Terem és a Paleis voor Volksvlijt kényelmetlen, híresen rossz akusztikájú nagyterme. A Weekblad De Amsterdammer vezércikkben ostorozta a kormányt, amiért nem vesz példát a környező országokban virágzó koncertéletről, és nemhogy nem támogatja a klasszikus zenei életet, hanem keresztbe tesz neki. 1881. szeptember 15-én végül hat magánszemély vette kezébe az ügyet, és megalakították a Concertgebouw Egyesületet (a holland szó jelentése szó szerint "koncertépület"), hogy előkészítsék egy világszínvonalú hangversenyterem felépítését.

Tanácsadónak felkérték a nem sokkal korábban átadott Rijksmuseum főépítészét, Pierre Cuyperst, aki azt javasolta, az új terem legyen a múzeum szomszédságában, az akkori városhatáron már éppen kívül, Nieuwer-Amstel területén. 1882. március 7-én a Concertgebouw Egyesület tőzsdei céget alapított, elkezdték a részvények árusítását, és a jelentős holland építészt, Adolf Leonard van Gendtet bízták meg a tervek elkészítésével. Van Gendt az épületet a lipcsei Neue Gewandhausról mintázta (utóbbit 1943-ban lebombázták): a kisterem a Concertgebouwban is keresztben helyezkedik el a nagyterem mögött, amelynek "cipős doboz" formája is a lipcsei modellt követi, jóllehet a maga 2037 férőhelyével jócskán felülmúlja azt.

Az építkezés már 1886-ban befejeződött, de az ünnepélyes megnyitóra csak két évvel később kerülhetett sor. A legfőbb hátráltató tényezőnek Nieuwer-Amstel önkormányzata számított, amellyel elkerülhetetlen volt némi civakodás olyan ügyekben, mint egy aprócska csatorna betemetése, a koncertteremhez vezető utak kiépítése, vagy a környék közvilágításának megoldása. Végül aztán 1888. április 11-én került sor a jelentős pompával megrendezett, hivatalos megnyitóra: Wagner, Bach, Händel és Beethoven műveit 500 fős kórus és 120 fős zenekar adta elő az ünnepi közönségnek.

Az első években a nagyterem akusztikája még messze nem számított olyan legen­dásnak, mint a későbbiekben. Évekig tartott a terem finomhangolása, ha nem is végezték olyan tudományos módszerekkel, mint napjainkban a Bartók Béla Nemzeti Hangversenyteremét. A terem belső díszítéseinek anyagait és formáit változtatták, amíg el nem érték a kívánt végeredményt, s azóta is a Concertgebouw számít a világ egyik legjobb akusztikájú koncerttermének. Amikor az 1980-as években a termet felújították, külön figyelmet fordítottak arra, hogy a belsőépítészek által használt anyagokat megtartsák, vagy azonos minőségűre cseréljék. Jelenleg a Concertgebouw két termében összesen több mint évi hétszázötven koncert hallható, s az éves nézőszám meghaladja a nyolcszázötvenezret.

A rezidens zenekar néhány hónappal a terem átadása után alakult, s első koncertjét 1888. november 3-án adta. Kezdetben Willem Kes irányította az együttest, őt követte a zeneigazgató posztján Willem Mengelberg, aki 1895-től 1945-ig, ötven éven át határozta meg a Concertgebouw Orchestra hangzását és szellemiségét (nem mellesleg 1939 márciusában ő mutatta be a Concertgebouw termében Bartók Hegedűversenyét Székely Zoltánnal). Mivel a náci megszállás alatt is működtette az együttest, a háború után Mengelbergnek mennie kellett, őt Eduard van Beinum követte a "trónon". 1952-ben a zenekar függetlenné vált - intézményi szinten legalábbis - a koncertteremtől, de továbbra is annak első számú használója maradt. A 20. század második felében olyan karmes­terek álltak az együttes élén, mint Eugen Jochum, Bernard Haitink, illetve 1988 óta Riccardo Chailly. A 100. születésnap azért is fontos évszám a Concertgebouw Orchestra életében, mert ekkor váltak "királyi" zenekarrá, ettől kezdve használhatják a nevük előtt a "royal" jelzőt. És bár jogi értelemben az épület nem vált százhúsz éves története során királyivá, ma már legalább annyira Hollandia jelképének számít, mint a tulipán vagy a szélmalom, s múltját, illetve jelenét tekintve nyugodtan nevezhetjük a hangversenytermek királyának.