Иван Логинович был женат на Евдокии Ильиничне Бибиковой, дочери Ильи Александровича Бибикова. Её сестра, Екатерина Ильинична Бибикова была женой М. И. Голенищева-Кутузова, фельдмаршала. Сам М. И. Голенищев-Кутузов, будучи дальним родственником Ивана Логгиновича, воспитывался в его доме.
Имел четырёх сыновей и двух дочерей:
- Старший сын, Павел Иванович Голенищев-Кутузов (1767—1829) — военный, деятель системы образования, сенатор, литератор.
- Другой его сын, Логгин Иванович Голинищев-Кутузов (1769—1845), начинал службу в армии, но, будучи назначен 6 февраля 1788 года в Морской кадетский корпус, участвовал в сражениях при Гогланде, Фридрихсгаме и Роченсальме, был награждён орденом Св. Георгия 4-го класса. С 13 ноября 1793 года — капитан 1 ранга. Пользуясь расположением Павла I, Логин Иванович 13 ноября 1796 года был произведён в полковники и, числясь по должности помощником своего отца, президента Адмиралтейств-коллегии, фактически принял на себя руководство Морским кадетским корпусом. Посетив корпус 10 февраля 1798 года, Павел I остался доволен и произвёл Л. И. Голенищева-Кутузова в генерал-майоры, а через день был восприемником его сына. В 1827 году назначен председателем ученого комитета морского министерства. Им составлен «Морской атлас для плавания из Белого моря к Англинскому каналу и в Балтийское море» и переведены описания путешествий Кука (1796—1800), Мирса (1797), Лаперуза (1800—1802), Кука, Клерка и Гора (1805—10) и прочие.
- Александр Иванович Голенищев-Кутузов (1781—1818) — полковник.
- Михаил Иванович Голенищев-Кутузов, младший сын адмирала, был титулярным советником[1][неавторитетный источник? 186 дней].
- Степанида Ивановна Голенищева-Кутузова (1769/1770—1818(1805)) была замужем за тайным советником Модестом Петровичем Бакуниным (?—1802), а после — за действительным тайным советником бароном Андреем Яковлевичем Бюлером (1763—1843).
- Варвара Ивановна (1773—1840) — жена тайного советника, губернатора и сенатора Михаила Михайловича Бакунина (1764—1837).
