Дворец, построенный в 1853-1856 годах, расположен на Бабигонском холме, на окраине Лугового парка. Проектированием дворца занимался Штакеншнейдер по эскизу Николая I, который хотел построить дворец для соей жены Александры.
Кариатиды выполнены по проекту Теребеневы. На сохранившихся гранитных постаментах ранее были установлены скульптуры «Укротители коней» Клодта, утраченные во время войны 1941-1945 годов.
В разные годы после революции дворец выполнял функции дома отдыха и музея. В настоящее время, к западу от дворца на месте деревянной перголы, построена гостиница.