Особняк состоит из центрального здания и двух крыльев, которые были пристроены позже. Главный вход в него расположен со стороны Староваганьковского переулка, а парадный фасад выходит на Моховую и обращен к Бородинскому холму и Кремлю.дом Пашкова построен так, что сразу привлекает к себе внимание. Это первое не церковное здание в Москве, из окон которого открывается прямой вид на Кремль, а также на Ивановскую и Соборную площади.Здание с его портиками, нарядными украшениями, колоннами и устремленным ввысь бельведером, воспринимается как монументальная скульптура, водруженная на своеобразный пьедестал.Есть точки, с которых дворец воспринимается особенно эффектно, например, с нечетной стороны улицы Волхонка, у самого ее начала. При взгляде на дом с этого угла, можно уловить гармоничную композицию, созданную высокими каменными столбами ограды, лестницей на крутом холме, и динамичным силуэтом центральных и боковых частей здания.В 18 веке известный немецкий путешественник Рихтер назвал дом Пашкова волшебным замком. Это определение полностью соответствует облику старинной городской усадьбы. Сказочный особняк кажется легким и воздушным, будто пришедшим из мира грез.