A középkori Szombathely várát Savaria egykori helytartói palotája helyén, s annak átépítésével emelték: a nyolcszögletű központi épületből (amelyről egy késő római kori forrás is említést tesz) a vár lakótornya lett.

Bár Savaria nem sokkal az alapítása után, az első század végén, a második század elején élhette gazdasági értelemben vett fénykorát, s a borostyánkőút jelentőségének csökkenésével kissé a város is elszürkült, a 4. század során ismét komoly, immár hatalmi jelentőségre tett szert. A hatalmas alapterületű város, amelyet csak lassan építettek be teljesen (hogy a hanyatlás évszázadaiban, az elpusztuló épületek miatt ismét mind foghíjasabbá, „falusiasabbá” váljon), már a 3. század végén közigazgatási szerepet kapott Diocletianus császár reformjai révén: a tartományok többszöri átszervezése után Pannonia Primában a katonai székhely Carnuntum, míg a polgári igazgatás központja Savaria lett. Ezután építették fel a helytartó, a praeses palotaegyüttesét, amelynek az átépítésére, megnagyobbítására már a 330-as években sor került. A nívós épületegyüttes kialakítását elsősorban az követelhette meg, hogy már Constantinus császár, majd fia, Constans is időzött a városban.

A helytartói – alkalomadtán császári – palota valóban káprázatos lehetett: itt állt Pannonia legnagyobb feltárt római kori terme, amely egy 17 méter széles és 47 méter hosszú aula volt. A padlófűtéssel komfortossá tett csarnok padlóját mozaikdíszítés fedte. Az épületegyüttes legfeltűnőbb eleme azonban mégsem a csarnok, hanem a nyolcszögletű, karéjként kisebb helyiségekkel bővített, freskódíszes, padlófűtéses épület lehetett, mégpedig a magassága miatt. Az alapozásának mélysége elérte a 3 métert, ami több emeletre utal. Elképzelhető, hogy ez az épület azonosítható Ammianus Marcellinus, Róma története című munkájában szereplő fürdővel:

„...Savariában pedig még a császár ott-tartózkodása idején fülesbagoly szállt a császári fürdőház ormára, és gyászdalt énekelt. Noha egymással versenyezve sokan nagy buzgalommal céloztak rá, senkinek sem volt olyan biztos keze, hogy nyíllövéssel vagy kődobással eltalálja” - írja amikor az I. Valentinianus császár 375-ben bekövetkezett halálát megelőző baljós eseményeket ismerteti. A vészjósló jelenetet akár az általános római babonaság számlájára is írhatnánk, ám a palota feltárt alapfalai nyomán készült rekonstrukciót látva beláthatjuk, hogy Ammianus története igaz: a fürdőház egy beépített udvaron állt, s mivel az „orma” lényegesen fölé magasodott a környező házaknak, a tetejét sehonnan sem lehetett célba venni. (Ammianus másik baljós előjele, miszerint a császár nem tudott a város általa választott kapuján kimenni, mert egy megvasalt kapuszárny lezuhant és nem tudták odébb vonszolni, szintén fontos adalék a város általános állapotával kapcsolatban – hiába volt Savaria a „leginkább megfelelő hely” a császár számára Pannoniában, általános leromlása már javában tartott.)

Savaria végső pusztulását egy 456-ban bekövetkezett földrengésnek szokták tulajdonítani, amelynek azonban régészetileg nem mutathatóak ki a nyomai. Ha volt is földrengés, sokkal kisebb kárt okozhatott a város „teljes romba dőlésénél”, amit az is bizonyít, hogy Savaria az elkövetkező századokban is lakott maradt, sőt 795-ben – miután legyőzte az avarokat – útba ejtette Nagy Károly császár is, mint a frankok közt nagy tiszteletben álló Szent Márton szülővárosát.

A középkorban is állhatott még a helytartói palota nyolcszögű épülete, ugyanis pontosan köré építették fel a kerek alaprajzú várat, és a régi római épületet afféle lakótoronyként használhatták tovább: melléképületeit lebontották, és a megmaradt nyolcszögű magjának sarkait támpillérekkel erősítették meg. Bár a középkori építkezések kronológiája nem kellően tisztázott – felmerült a vár építésének IX. századi keltezésének elméleti lehetősége is – de a külső fal létezése inkább csak a 13. századtól igazolható. A kerek belső mellett egy templomot is építettek, ami a mai későbarokk székesegyház elődje lett.

Bár Szombathely vára hadászatilag kevéssé volt jelentős, a későközépkorban átépítették. Négyzet alaprajzú, sarkain kerek saroktornyokkal erősített külső várat építettek köré, a belső várban pedig lebontották a római eredetű lakótornyot, helyette a fal külső oldalához csatolt négyzetes tornyot emeltek. A vártemplomot gótikus stílusban újították meg.

A várra ezután azonban nem sok gondot fordítottak. Már a 16. század végére elkezdett leromlani az állapota, a 18. századra pedig szinte romhalmazzá vált. Miután Mária Terézia 1777-ben megalapította a szombathelyi püspökséget, Szily János püspök hatalmas energiával látott munkához. Felépült a szeminárium, a püspöki palota, majd 1791-92-ben lebontották a várat, s 1797-re felépült a székesegyház is: nagyrészt a hajdani helytartói palota és középkori vár helyén. A terület újkor előtti történetét pedig már csak a Járdányi Paulovics István romkertben látható maradványok, no és persze azok kutatása idézi meg.

Részletek a savariai helytartói palotáról Kiss Péter és Nyerges Anita A Járdányi Paulovics István Romkert újabb kutatásai című tanulmányában.