Perast je smješten naspram tjesnaca Verige, na jednom od strateški najvažnijih položaja Bokokotorskog zaliva.

Smatra se da je ime Perast došlo od ilirskog plemena Piruste . Iznad grada se nalaze ostaci rimskog puta koji je vodio iz Risna za Agruvijum, pa je moguce da je na mjestu na kome se danas nalazi tvrdjava postojala manja rimska tvrdava castrum . Unutar tvrdjave nalazila se crkva Sv. Krsta koja se datira u IX vijek, po kojoj je tvr djava i dobila ime. U srednjem vijeku Perast je bio dio kotorske opštine, i zajedno sa Kotorom imao znacajnu ulogu za vrijeme vladavine Nemanjica ovim prostorima. Perast se 1365. godine medju prvim gradovima u Boki stavlja pod vlast Mletacke republike, zadržavajuci odredjenu autonomiju u upravi. Grad postaje samostalna opština 1571. godine i u periodu XVII i XVIII vijeka doživljava najveci uspon.

Izgleda da Perast nije ni u zrelom srednjem vijeku ni kasnije bio u potpunosti utvrdjen. Peraštani su vjekovima kontrolisali Verige i put za Kotor sa tvrdjave sv. Krsta, ostrva sv. Ðordja i utvrdjenja Gospe od Andjela, medjutim, nepostojanje kontinualnih bedema oko grada bio je veliki problem koji su Peraštani bezuspješno težili da riješe. Tvrdjava sv. Krsta podignuta je u drugoj polovini XVII vijeka, medjutim moguce je da su izvjesni njeni djelovi i stariji. Zna se sa sigurnošcu da od XVI vijeka odbrambeni sistem Perasta cine: tvrdjava sv. Krsta na najvisoj tacki grada, sistem od 10 kula, rasporedjenih na razlicitim lokacijama u samom gradu, kao i utvrdjene ulice i kuce. Najstarija peraška kula u izvorima se pominje pocetkom XVI vijeka, a najmladja je nastala poslije peraškog boja 1654. godine.

Podaci do kojih se došlo posljednjih godina, tokom arhitektonskih i urbanistickih analiza Perasta, idu u prilog cinjenici da pocetak razvoja naselja datira znatno prije XVI i XVII vijeka, i da je dio današnje matrice naselja srednjovjekovni.