Андрей Панин был многодетным отцом. Однако теплые отношения он поддерживал лишь с двумя сыновьями от второго брака. Актер проводил с мальчиками все свободное время, будто компенсируя свою вину за то, что дочь выросла без него.
В первый брак Панин вступил, когда ему было всего 20 лет. Его избранницей стала девушка из очень обеспеченной семьи Татьяна Французова. Ее родители были не слишком рады зятю без особенных перспектив в работе.
В 1983 году Татьяна родила дочку Надю. Тогда у Панина впервые появились проблемы с алкоголем. Он не забрал жену с ребенком из роддома и не приезжал к ним первые месяцы. Все это время воспитанием девочки занимались ее бабушка и дедушка.
Впоследствии актер иногда общался с дочкой, бережно хранил ее снимки. Но когда Надя была еще маленькая, мать забрала ее в США, куда эмигрировала. Девочка выросла, не зная отца. Все попытка Панина наладить с ней отношения на расстоянии провалились: для Надежды актер был чужим человеком.
Более того, она даже сознательно отреклась от него, поменяв фамилию на мамину. Чем занимается Надежда за рубежом, неизвестно. Зато на ее редких снимках хорошо видно, как молодая женщина похожа на знаменитого родителя, с которым не хотела иметь ничего общего.