Родился в городе Макеевка Донецкой области. Его отец, Архип Егорович, до войны был заместителем начальника шахты, а по ее окончании работал директором дома отдыха. Мать, Клавдия Ильинична, была домашней хозяйкой.
В начале Великой Отечественной Войны семья Чубаровых была эвакуирована в Барнаул, где Леонид стал подрабатывать киномехаником. Учась в школе, Чубаров был постоянным участником художественной самодеятельности, ездил с концертами по госпиталям. Затем, в 1943 году, по достижении призывного возраста, Леонид поступил в артиллерийское училище, по окончании которого ушёл на фронт. После демобилизации, в 1946 году Чубаров поступил на актёрский факультет Театрального училища имени М.С. Щепкина к Константину Александровичу Зубову, одновременно с учёбой подрабатывая сапожником. По окончании института в 1950 году Чубаров был принят в труппу Малого театра, а затем несколько лет работал в Латвии, в Русском драматическом театре имени Пушкина. В 1958 году Леонид Чубаров был принят в труппу Театра-студии киноактера. В первый раз Леонид Архипович появился на экране в 1950 году в эпизодической роли шахтера у Леонида Лукова в «Донецких шахтерах», а первой заметной ролью актёра стал Хаенко в «Высоте» Александра Зархи. Основными героями Чубарова на экране стали положительные герои – простые рабочие, военные, милиционеры. Среди лучших работ: Волошенко («Над Тиссой»), старшина Мосько («Баллада о солдате»), Морозов («Солнце светит всем»), Виктор Скворцов («Жизнь сначала»), Синюков («Пядь земли»), Котеночкин («Пакет»), Бульба («Песнь о Маншук»).