Родился в городе Иркутск, Советская Россия, в семье обрусевшего немца. Заслуженный артист РСФСР (27.05.1951). Народный артист РСФСР (23.03.1955). Народный артист СССР (1959). Учился в театрально-музыкальном училище имени Глазунова. Будучи студентом второго курса, был приглашен солистом Большого театра Сергеем Остроумовым в оперный ансамбль при Московской филармонии, которым руководил Иван Козловский. В 1938-1941 годах учился в музыкальном училище имени Глазунова (класс А. Минеева). Одновременно выступал в концертах Московской филармонии и в спектаклях Ансамбля оперы под руководством И. Козловского. С ноября 1942 по апрель 1943 года в составе фронтовой бригады давал концерты на Брянском и Волховском фронтах. С 1 мая 1943 года был солистом Большого театра. Голос Петрова - мощный, красивого тембра, выразительный в широком распевном звучании. Последнее выступление на сцене Большого состоялось 23 мая 1969 года в опере «Декабристы». Он оставил театр внезапно: прослушав свою последнюю запись, Иван Иванович не узнал собственного голоса и решил, что обнаруженный у него диабет обесцветил звучание. Артист попросил стереть запись и с тех пор не пел и не записывался. Он покинул сцену в зените славы. Талант Ивана Петрова не ограничивался только музыкой, он был великолепным педагогом, прекрасным драматическим артистом: исполнил роль Зеба Стампа в знаменитом отечественном фильме «Всадник без головы». В последние годы он работал консультантом по вокалу в оперной труппе Большого театра. В качестве председателя, заместителя председателя, члена жюри участвовал в музыкальных конкурсах имени Чайковского, Глинки, Рахманинова, Шаляпина. В рамках Международного союза музыкальных деятелей участвовал в музыкальных конкурсах во Франции, Греции, Швейцарии, Румынии. Проводил много встреч с молодыми солистами, помогал им постигать секреты высокого исполнительского искусства. Автор книги «Четверть века в Большом. Жизнь, творчество, размышления». Именно ему дочь Федора Шаляпина Марина Федоровна подарила перстень своего великого отца, который Иван Петров долго хранил, но потом передал в Дом-музей Ф. Шаляпина. Теперь перстень - часть музейной экспозиции. Почётный член Международного союза музыкальных деятелей (1995). Почётный член парижского театра «Гранд-Опера». Умер в Москве, похоронен на Кунцевском кладбище.