Прежним владельцем дома «близ Измайловского моста» был писатель и переводчик И. С. Захаров. Дом был не достроен, и с просьбой о завершении строительства и внутренней отделке здания Державин обратился к своему другу архитектору Н. А. Львову:

Зодчий Аттики преславный
Мне построй покойный дом.
Вот черты и мысли главны
Здесь начертаны пером
На брегу реки Фонтанки.

Львов также автор оформления приусадебного участка. «Сей сад расположен будучи в середине города большого, — писал он, — должен не токмо отвечать величию оного, но и служить еще богатою рамою великолепному дому». Среди деревьев и кустарников — липы, ивы, дубы, клены, ясени и березы, шиповник, жимолость, калина, акация, а также жасмин и сирень, которые вошли в моду в 1790-е годы. Среди цветочных культур — гиацинты, тюльпаны, нарциссы, лилии, розы.

Дом Г. Р. Державина близ Измайловского моста.
П. Ф. Борель Середина XIX в. Литография

План усадьбы включал также строительство оранжерей (ананасной, персиковой и других) и теплиц для выращивания ранних, теплолюбивых и экзотических плодов и растений. На приусадебном огороде выращивали картофель, капусту, морковь, горох, репу, брюкву, огурцы, редис, сахарный горошек, спаржу и шампиньоны.

Работы по строительству требовали немалых расходов: Державиным пришлось заложить несколько принадлежавших им деревень и вести строгий отчет всех хозяйственных нужд, что находило отражение в особой «Книге о издержках денежных для каменного дома. С августа 1791 года». Екатерина Яковлевна особо усердно взялась за обустройство усадьбы, но судьба не даровала «Пленире» возможности насладиться уютом свитого ею гнезда: в 1794 году она умерла. К этому времени постройка дома и отделка интерьера были завершены, а на территории усадьбы появились два служебных корпуса — кухонный и конюшенный, возведенные архитектором Пильниковым.

Вид реки Фонтанки. Фотография 1900-х гг.

Четверть века дом поэта был своеобразным центром русской культуры конца XVIII — начала XIX века. В конце 1790-х годов в державинском доме был построен театр. Исполнителями ролей в домашних постановках были не только друзья и родственники поэта, но и профессиональные актеры. В «Большой» («Танцевальной») зале с 1811 года проходили торжественные заседания и публичные чтения литературного общества «Беседа любителей русского слова».

Дом и усадьба сохраняли свой первоначальный облик до тех пор, пока не ушли из жизни их владельцы. В 1816 году скончался Державин, а в 1842 году умерла его вторая жена Дарья Алексеевна.

После смерти хозяйки дом и усадьба несколько лет пустовали. В 1846 году они были приобретены Римско-католической духовной коллегией и немедленно стали перестраиваться и приспосабливаться под многочисленные канцелярии, архивы и квартиры служащих. Руководили этими работами архитекторы А. М. Горностаев и В. И. Собольщиков. По их проекту были надстроены на один этаж главный дом и флигели на набережной, уничтожена коллонада, изменено оформление фасадов. Кардинальной перестройке подверглись служебные здания, изменилась планировка, была сломана лестница, появились новые перегородки. В двухсветном зале «Беседы» появилось встроенное перекрытие, а хоры и колонны были уничтожены. Помещения упраздненного домашнего театра занял архив коллегии. Во второй половине XIX века оранжереи были разрушены. Постройка в 1870–1873 годах на месте огородов епархиальной Римско-Католической духовной семинарии и возведение костела Успения Девы Марии значительно сократили размеры сада.

В дальнейшем ансамбль усадьбы Державиных еще несколько раз подвергался переделкам. Самой заметной из них стала произведенная в 1901 году архитектором Л. П. Шишко надстройка третьих этажей в двух флигелях.

В 1918 году для державинской усадьбы наступили тяжелые времена. Новые власти несколько лет не могли решить, каким образом использовать ставший бесхозным дом Державиных. В 1924 году он был превращен в обычный жилой дом с десятками густонаселенных квартир. Это повлекло за собой новые перепланировки и почти полное уничтожение еще сохранившихся к тому времени остатков художественной отделки. К 1935 году были засыпаны пруды, а послевоенные посадки осуществлялись без особой системы.

В 1998 году распоряжением правительства Российской Федерации дом был передан Всероссийскому музею А. С. Пушкина. В 2003 году в восстановленном особняке поэта (Центральный корпус) был открыт Музей Г. Р. Державина и русской словесности его времени. Центральный корпус особняка соединился полуциркульными крытыми галереями с Кухонным (Восточный) и Конюшенным (Западный) корпусами, отреставрированными в 2006–2007 годах. Теперь здесь располагаются выставочные и концертные залы. В 2005 году был воссоздан Домашний театр, в 2009 году — единственной сохранившей свой фундамент здание Центральной Оранжереи. В 2011 году завершилось воссоздание исторического облика Усадебного пейзажного сада. В основе его композиции — обширный луг, примыкающий к небольшой регулярной части при усадьбе. Оживляет это пространство по периметру участка обширная водная система в виде узкого ручья с тремя небольшими прудами.

Сегодня городская усадьба Державина является уникальным музейным комплексом.