A Várhegy barlangjait eredetileg a természet alakíthatta ki. A hegy anyaga főleg az ún. bugai márga, ami víz hatására megreped, törik. A repedésekben feltörő víz utat vájt magának, így keletkezhettek eredetileg a járatok.

Kadic Ottokár, a két háború közti időszak legismertebb barlangásza a leletek alapján azt állította, hogy ezeket a járatokat már a Várhegyen élő ősemberek is ismerték. Úgy tűnik, hogy azóta folyamatosan éltek itt emberek. Zolnay László a barlangi kutak átvizsgálásakor a 11-12.századra utaló maradványokat talált, ezért valószínű, hogy a tatárjárás előtt itt lévő falu lakói a barlangban található vizet használták. A legújabb kutatások feltételezik, hogy a várhegyi település házainak elrendezése is a barlangi kutakhoz igazodott.

A tatárjárás után IV. Béla elrendelte az új kiráályi székhely megépítését. A korabeli városépítőknek városaikat két célnak kellett alárendelni: megvédeni a lakókat a külső ellenségtől és egyidejűleg biztosítani az élethez elengedhetetlen feltételeket falon belül (élelem, víz, stb.). A külső védelmet az akkor 5-10 méter magas várfalak biztosították, míg a vízellátásra a Várhegy barlangjaiban található víz volt a legalkalmasabb.

A budai lakosok hamar rájöttek, hogy a barlangok nem csak az ivóvíz szolgáltatására jók; nemsokára itt tárolták élelmiszereiket és ide rejtették értékeiket is.

A török korban feljegyezték, hogy ezek közül a barlangok közül nem egy jegespinceként szolgált. A házak lakói nem csak lejáratokat vájtak a barlangokhoz: össze is kötötték őket egymással, a barlangok alján, oldalfalán található agyag nagyszerű alapanyagként szolgált a budai fazekasiparnak.
Nagy segítséget jelentettek ezek a járatok az igen gyakori tűzvészek alkalmával is – ide menekülhettek a város lakói.

Nagy jelentősége volt a kazamatáknak a háborúk során is. a polgárok kénytelen-kelletlen ide vonultak vissza a támadók ágyúgolyói, bombái elől. Van olyan vélemény is, hogy a védők képesek voltak csapataikat átcsoportosítani a föld alatt. Több leírás szól arról, hogy a védők a várfalak oldalába kivezetett barlangokból kitörve támadtak az ostromlókra.

A török hódítás során megnőtt a barlangok startégiai jelentősége. Fennmaradtak legendák a megunt vagy hűtlen háremhölgyeit befalaztató budai pasáról, az itt elrejtett török kincsekről… ezeknek nem találták nyomát a kutatók.

Az 1800-as években újabb történetek keltek szárnyra a titokzatos „fekete grófról”, aki – legalábbis a történet szerint – szintén a budai kazamatákban tanyázott; de képzeltek ide szellemeket, vámpírokat is. Annyiben igazuk volt a történet híveinek, hogy gyakran szolgáltak ezek a járatok a „gonosz lakóhelyéül”, amennyiben szökött vagy körözött bűnözők bujkáltak itt.

Az 1800-as évek végén kezdett a járat-rendszer komoly gondokat okozni apolgároknak és a városvezetésnek: egyre gyakrabban fordult elő, hogy valamely része beomlott. Ekkor rendelte el a városvezetés, hogy a járatokat be kell tömni. A munkálatok szakszerűtlenül és ellenőrzés nélkül folytak és a mai napig nincs olyan hiteles dokumentum, ami ezeket a munkálatokat tanúsítaná.

Többek között azért sem fordítottak kellő figyelmet a munkálatokra, mert a barlang-rendszer jelentősége gyorsan csökkent. Az 1870-es évek filoxérajárványai után kiépült a vízvezeték, a pincék a bennük található kutakkal együtt feledésbe merültek.

Fennmaradt azonban néhány „nevezetes eset” ebből az időből. Például a két fiatalember története, akik gombatermesztésre akarták bérbe venni a pincék egy részét.

„Megkapva az elöljáróság beleegyezését, nekiláttak a szükséges berendezések lehordására az általuk kiszemelt pincébe. A munkájuk belenyúlt az éjszakába. Éjfél közeledett, amikor a pincét megvilágító gyertyák kialudtak, és óriási zajtól kisérve két szellemalak száguldott el mellettük a sötétben. Szegény polgárok halálraváltan rohantak a várparancsnokságra.

Másnap - fegyveresek kíséretében - átkutatták a pincét: az egyik sarokban egy csapóajtót találtak. Ezen lemászva egy újabb pincére bukkantak, aminek egyik sarkában egy szalmazsákon egy női főkötőt és egy huszársarkantyút találtak. Kiderült, hogy a vári őrség egyik katonája és egy szolgálólány tartotta ebben a pincében rendszeresen pásztoróráit. Hámán polgármester az eset hallatán annyit tudott mondani: "én csak a föld feletti városnak vagyok polgármestere, a föld alattinak nem"

A barlangok és járatok módszeres feltárása 1931-ben, Kadic Ottokár felügyeletével történt. 1935-ben a barlangok egy részét megnyitották az érdeklődők előtt.

A háború kitörésével a pincék egy részéből óvóhelyeket alakítottak ki, így alakult ki az a több kilométer hosszú kazamata rendszer - az ún. Nagy Labirintus - amely már alig őrzött meg valamennyit a barlangok középkori állapotából. Ekkor épült meg a mai napig működőképes Sziklakórház. A második világháborúban egyes adatok szerint 4000, mások szerint több, mint 10000 ember talált menedéket a Vár alatti pincerendszerben.

A Labirintus legnagyobb kiépítettségét az ötvenes években érte el, ekkoriban nagy része „titkos objektumnak” számított. A 60-as években újra megnyílt a barlangmúzeum, de néhány év múlva pénzhiány miatt be kellett zárni.Megismétlődött az a korszak, amikor csavargók és bűnözők lakták a járatokat…

A 80-as években újra ráirányult a figyelem, az újabb útbeomlások miatt. Átvizsgálták a labirintus-rendszert, a szükséges helyeket megerősítették. Ekkor került sor a vári forgalom csillapítását célzó forgalomkorlátozások bevezetésére is.