Ольга Валериановна была дочерью камергера, действительного статского советника Валериана Гавриловича Карновича и Ольги Васильевны, урождённой Месарош. В середине 1890-х годов у Ольги Валериановны (бывшей уже замужем) начался роман с овдовевшим великим князем Павлом Александровичем (младший сын императора Александра II), от которого она в 1897 году родила сына Владимира. В конце концов это привело к разводу с мужем и морганатическому браку с Павлом Александровичем.
Когда брак скрывать стало невозможно, после публичного скандала Николай II осудил дядю за недостойное поведение, Павел Александрович с Ольгой Валериановной и детьми уехали во дворец в Булони-на-Сене под Парижем, где собирали коллекцию произведений искусства. Император лишил своего дядю всех званий и должностей и запретил приезжать в Россию, но баварский король пожаловал Ольге Валериановне титул графини Гогенфельзен.
Позже Николай смилостивился, Павел Александрович с женой и детьми смог вернуться в Россию, Ольге Валериановне был пожалован титул княгини Палей и им было позволено поселиться в Царском Селе.
Дворец великого князя Павла Александровича и его супруги Ольги Палей в Царском Селе (Советский, быв. Пашковский пер., 2) был построен в 1914 году.
Проект дворца для семьи в Царском Селе был составлен архитектором К. К. Шмидтом, который прославился к тому времени постройками Здания ювелирной фирмы К. Г. Фаберже на Морской, Особняка П. П. Форостовского и др.
Так как хозяева дворца долгое время жили в Париже, это повлияло на решение проекта – он напоминал обликом такие французские дворцы, как Малый Трианон и Компьенский. Мебель была изготовлена в парижской фирме Буланже, в помещениях разместились богатые коллекции. Дворец был оснащен собственной электростанцией и водопроводом.
В 1918 году во дворце был открыт музей, экскурсии по которому водила сама Ольга Палей, хозяйка жила здесь до 1919 года, пережив арест и казнь мужа и сына (Павел Александрович был расстрелян в январе 1919 года в Петропавловской крепости, а Владимир Палей убит в Алапаевске).
Ольга Валериановна с дочерьми бежала в Финляндию и обосновалась в Париже, где опубликовала книгу воспоминаний о жизни в России.
Позже во дворце разместился Дом партийного просвещения им. С. М. Кирова.
Во время Великой отечественной войны здание сильно пострадало.
В послевоенное время здание передали военному училищу, в 1950-х годах оно было сильно перестроено - вместо мансарды устроен третий этаж, вместо лоджии и балкона — портик с классическим треугольным фронтоном, сбита лепнина. В 2010 году дворец оказался заброшенным и стоял бесхозным, пока он не был передан в 2013 году Институту им. Г. И. Турнера.
