Строительство Эрмитажа велось по проекту Браунштейна в 1721-1725 годах. Двухэтажное здание Эрмитажа высотой 11 метров стоит на сплошном массивном стилобате, подчеркивающем его легкость и изящество. Павильон окружен глубоким и широким рвом, стенки которого выложены из кирпича и окаймлены поребриком из светлого камня. Ров наполнялся водой, и через него был перекинут разводной мост.

Отличительной особенностью Эрмитажа являются окна и застекленные двери, занимающие собой большую часть фасадов. Вследствие этого второй этаж кажется почти прозрачным, а весь павильон напоминает хрустальную шкатулку.

Павильон был предназначен для увеселительного и уединенного времяпрепровождения лиц из ближайшего окружения "царской особы". В Эрмитаже обсуждались важные государственные дела. Эрмитажный зал служил литературным салоном.

На первом этаже Эрмитажа располагались вестибюль, кухня и буфетная с механизмом подъемного стола. За дубовой перегородкой находилась лесенка на второй этаж. Второй этаж представлял собой один зал 80 квадратных метров.

Особый интерес вызывала инженерная конструкция подъемного стола на 14 персон, что давало возможность вельможам трапезничать без присутствия слуг.

В годы Великой Отечественной войны фашисты разместили в Эрмитаже орудие, при этом часть северной стены была разрушена, были уничтожены интерьеры павильона и подъемный стол.

В 1952 году были проведены реставрационные работы в Эрмитаже. Он был первым музеем Петродворца, открывшимся после войны для обозрения.

Сегодня музей открыт с 10.30 до 17.00 с апреля по октябрь