Первой женой Ивана была Феодосия, дочь брянского князя Дмитрия Романовича, которая скончалась зимой 1342 года. В 1345 году 19-летний Иван Иванович вступил в повторный брак с некой Александрой, вероятно, дочерью московского тысяцкого Василия Протасьевича Вельяминова. Александра родила 12 октября 1350 года сына Дмитрия (будщего Дмитрия Донского), позже - еще одного сына, Ивана Малого, и двух дочерей - Любовь (по иным данным - Анну, ставшую женой знаменитого полководца, участника Куликовской битвы князя Дмитрия Михайловича Боброка Волынского) и Марию (вышла замуж за князя Дмитрия Ольгердовича).
После его смерти его сын, малолетний Дмитрий, был оставлен на попечение митрополита Алексия, которому Иван Иванович поручил управление и охрану княжества.
.