Родился 12 декабя 1928 года, в селе Знаменка, Славянского района Донецкой области УССР, в крестьянской семье. Мать была домохозяйкой, отец — рабочим, участником Первой мировой и Гражданской войн. В 1930 году семья переехала в Краматорск, где Леонид окончил среднюю школу № 6, там же впервые вышел на сцену местного ДК имени Ленина.
Во время Великой Отечественной войны с 1941 по 1943 год вместе с семьёй находился в эвакуации в Барнауле.
Окончил актёрский факультет Харьковского театрального института (1951).
В 1951—1960 годах был актёром Харьковского государственного академического украинского театра имени Т. Г. Шевченко
Большую известность ему принесли комедии «Укротительница тигров» (1954) и «Максим Перепелица» (1955), а главная роль солдата Максима Перепелицы на долгие годы стала визитной карточкой Быкова.
В 1959 году переехал в Ленинград, где до 1969 года работал актёром и режиссёром на «Ленфильме». В 1963 году снял полнометражную комедию «Зайчик», в которой сыграл главную роль. В числе лучших его ролей в кино тех лет можно назвать Богатырёва («Дорогой мой человек», 1958), Лёшку Акишина («Добровольцы», 1958), Алёшку («Алёшкина любовь», 1960), Гаркушу («На семи ветрах», 1962), Сашко Макаренко («Разведчики», 1968).
В 1972 году Быков приступил к съёмкам кинокартины «В бой идут одни „старики“», в которой сыграл одну из главных ролей.
В 1976 году был снят ещё один фильм на военную тему — «Аты-баты, шли солдаты…».
11 апреля 1979 года Леонид Быков погиб в автомобильной катастрофе на 51-м году жизни на 46-м км трассы «Минск — Киев» возле посёлка Дымер. Похоронен на Байковом кладбище в Киеве.