18 sierpnia 1654 roku ukończono budowę pierwszej plebanii na placu Pokoju, wznoszonej przez cztery miesiące, metodą szachulcową. W tej pierwszej niewielkiej pastorówce początkowo mieszkali pastorzy Hoffmann i Hahn.

Obecnie kompleks plebanii składa się z trzech elementów: pastorówki z 1654 roku (najstarszy obiekt na placu Pokoju), murowanego barokowego budynku z klasycystycznymi elementami, z 1763 roku oraz łączącej je murowanej oficyny. Mieściła się tam m.in. wozownia i sala do gry Belltafel (śląska odmiana bilardu, gdzie po długim stole wysmarowanym tłuszczem długimi kijami popychano metalowe krążki). W 1758 roku Austriacy przygotowując się do obrony Świdnicy przed wojskami pruskimi poprowadzili obwarowania przez teren przy Kościele Pokoju i rozebrali część budynków, także przy plebanii.

Cały zespół plebanii został odnowiony w latach 2014-17, autorem projektu rewaloryzacji był dr Maciej Małachowicz. Podczas prac głównemu budynkowi przywrócono pierwotną ugrową elewację, taką, jaką odkryto na malowidle na emporze ołtarzowej w Kościele Pokoju.