Его родителями были Красавцев Михаил Степанович (1917–1994) и Лебедева Мария Константиновна (1917–2004). Детство Жени прошло в центре Москвы, на Таганке. В 1943 году родился второй сын в семье Красавцевых – Михаил. Детей, а их уже, с рождением в 1947 году младшего брата Сергея, стало трое, воспитывала одна мать. Отец, так как он в войну попал в окружение, затем в штрафную роту, после войны оказался в местах, не столь отдалённых. В Москву, так этот город был в списке запрещённых для проживания таких лиц городов, он уже не смог вернуться. Местом его поселения стала Смоленская область. А так как Женя был старшим из мужчин в семье, то на него и выпали основные семейные тяготы послевоенного времени.