Заслуженный артист РСФСР (2.06.1972).
Наиболее известен по художественным фильмам «Солдат Иван Бровкин», «Иван Бровкин на целине», «Улица полна неожиданностей» и другим. Один из самых популярных актёров советского кино 1950-х годов.
Ещё в школе занимался в театральном кружке, который вела актриса БДТ М. А. Призван-Соколова. После школы поступил на юридический факультет Ленинградского университета. Через год решил посвятить себя актёрской карьере, о которой мечтал с детства. Поступил в Школу-студию им. В. И. Немировича-Данченко при МХАТ, которую окончил в 1954 году (мастерская С. К. Блинникова и Г. А. Герасимова). В 1954—1962 и с 1968 — артист МХАТ имени М. Горького, в 1962—1968 — Театра имени Ленинского Комсомола и МДТ имени А. С. Пушкина.
Первая же роль в кино в фильме «Школа мужества» принесла Леониду Харитонову славу. Он снялся в нём ещё будучи студентом, в 1954 году. В Школе-студии существовало твёрдое правило: студенты, снимающиеся в кино, автоматически исключались из этого заведения. Поэтому перед съёмками фильма Харитонов отказался от предложения режиссёра Владимира Басова. Но в Школу-студию пришло официальное письмо из ЦК ВЛКСМ, и руководство разрешило студенту Леониду Харитонову принять участие в съёмках фильма «Школа мужества».
Через год на экраны страны вышел фильм «Солдат Иван Бровкин», после которого молодой актёр стал кумиром поколения. За несколько лет вышло около десяти картин с Харитоновым в главной роли. Он создал образ нового социального героя — доброго, скромного, обаятельного и «слегка непутёвого». Персонажи Харитонова не только воспитывали, но и веселили, за что актёра любили зрители всех поколений.
С возрастом Харитонов всё меньше появлялся на экране. В эпизоде фильма Владимира Меньшова «Москва слезам не верит» сыграл самого себя.