Родители
Отец Натальи, Николай Афанасьевич Гончаров (1787—1861), происходил из семьи купцов и промышленников, получившей дворянство во времена императрицы Елизаветы Петровны. В 1789 году специальным указом, выданным отцу Николая Афанасьевича — Афанасию Николаевичу, Екатерина II подтвердила за Гончаровыми право на потомственное дворянство. Николай Афанасьевич был единственным сыном в семье. Он получил прекрасное образование: в совершенстве знал немецкий, английский и французский языки (одним из его гувернёров был Будри, брат Жан-Поля Марата), хорошо владел, в отличие от остальных членов семьи, русским языком, сочинял стихи, играл на скрипке и виолончели.
В 1804 году Николай Гончаров был зачислен в петербургскую Коллегию иностранных дел, а в 1808 году получил чин коллежского асессора и поступил на должность секретаря московского губернатора.
Мать Натальи Николаевны — Наталья Ивановна (1785—1848), урождённая Загряжская, — была прапраправнучкой украинского гетмана Петра Дорошенко от его последнего брака с Агафьей Еропкиной. По семейному преданию, Наталья Ивановна — незаконнорожденная дочь Эуфрозины Ульрики, баронессы Поссе (урождённой Липхарт) от Ивана Александровича Загряжского. После смерти её матери в 1791 году заботу о Наталье Ивановне взяла на себя жена Ивана Александровича, Александра Степановна, и «приложила все старания, чтобы узаконить рождение Натальи, оградив все её наследственные права». По другой версии, Иван Загряжский женился в Париже на француженке, однако биографы Натальи Николаевны считают первую гипотезу более правдоподобной.
Наталья Ивановна вместе с единокровными сёстрами — Софьей и Екатериной — пользовалась покровительством Натальи Кирилловны Загряжской, фрейлины Екатерины II, и все три сестры были приняты во фрейлины к императрице Елизавете Алексеевне. При дворе на Наталью Ивановну, отличавшуюся необыкновенной красотой, которая досталась ей, по семейным преданиям, от баронессы Поссе, обратил внимание и влюбился фаворит императрицы Алексей Охотников. Брак Натальи Ивановны с Николаем Гончаровым, по этой ли или другой причине, был, по мнению некоторых биографов, «спешным». Судя по записи в камер-фурьерском журнале, свадьба была пышной: на венчании присутствовала вся императорская фамилия, а невесту убирали в покоях императрицы Марии Фёдоровны.
Детство и юность
Наталья Николаевна была пятым ребёнком из семерых детей Гончаровых; самая младшая, дочь Софья, родилась и умерла в 1818 году. Наталья родилась в селе Кариан Тамбовской губернии, родовом поместье Загряжских, куда Гончаровы переехали на время Отечественной войны 1812 года. Детство и юность Наталья провела в Москве и поместьях Ярополец (Московская губерния) и Полотняный Завод (Калужская губерния).
Обстановка в семье была тяжёлой. В Полотняном Заводе всем распоряжался дед Натальи Николаевны, Афанасий Николаевич. Родственникам приходилось терпеть присутствие в доме его любовницы, француженки мадам Бабетт. Отец Натальи Николаевны тщетно пытался остановить расточительного Афанасия Николаевича, но в 1815 году сам был отстранён им от управления делами. Родители Натальи переехали в Москву, оставив младшую дочь на попечение деда, который её любил и баловал. В Заводе девочка прожила ещё около трёх лет.
Образованный и талантливый человек, Николай Афанасьевич с конца 1814 года страдал психическим заболеванием. Болезнь, по словам родственников, была вызвана травмой головы, полученной при падении с лошади. Однако гораздо позднее было высказано сомнение в верности диагноза: судя по письмам его жены, Николай Афанасьевич много пил. Возможно, это было следствие внезапного отстранения от всех дел по управлению имением и сознания того, что Афанасий Николаевич разоряет семью: за 40 лет тот растратил почти 30-миллионное состояние.