Первым хозяином ливадийского имения был командир Балаклавского греческого батальона Ф. Д. Ревелиоти. В 1834 году он продал поместье польскому магнату Л. С. Потоцкому, который построил здесь усадьбу и разбил парк. После смерти Потоцкого в 1860 году наследники продали имение казне, и оно перешло в собственность императрицы Марии Александровны, жены Александра II. По её приказанию на месте дома Потоцких построили летнюю резиденцию императорской семьи: Большой дворец и Малый (сгоревший в годы Великой Отечественной войны), а также другие постройки. Рядом с дворцами была возведена Крестовоздвиженская церковь, сохранившаяся до наших дней.
Дворец неоднократно перестраивался и строился заново. Сущесвующий сегодня Белый дворец, построенный из белого камня в стиле раннего итальянского Возрождения, был возведён по пректу архитектора Н. П. Краснова в начале XX века.
В ливадийский дворцовый ансамбль, помимо Большого Дворца, вошли Свитский корпус и дворец министра двора графа В. Б. Фредерикса, возведённые одновременно с императорским дворцом.
После Октябрьской революции ливадийский дворцово-парковый ансамбль был национализован. В 1925 году здесь открыли первый в мире санаторий для крестьян, а чуть позднее — климатический лечебный комбинат. Здесь же с 4 по 11 февраля 1945 года проходили заседания знаменитой Ялтинской конференции.
После войны в Ливадийском дворце вновь был открыт музей. Сегодня в нём действуют две постоянные экспозиции. Одна посвещена событиям Ялтинской конференции, а другая называется "Романовы в Ливадии" и повествует о пребывании здесь нескольких поколений августейшей фамилии.
Вокруг ливадийского дворца, на территории в 160 гектаров, разбит старинный парк, на территории которого растёт около 400 видов деревьев и кустарников. Парк украшают фонтаны, декоративные вазы, скульптуры, беседки — Розовая, Царская, Турецкая. В центре парка расположен партер, устроенный в строго регулярном стиле.
В 1998 году в Ливадии, в здании бывшей электростанции императорского дворца, был открыт органный зал. За время своей работы Центр органной музыки завоевал популярность не только в Крыму, но и за его пределами. В 2004 году в Ливадийском органном зале проводился первый международный фестиваль органной музыки "Ливадия-Фест", в котором участвовали органисты из разных стран.