Дэвис родился в Гарлеме, штат Нью-Йорк. Свою карьеру он начал уже в трёхлетнем возрасте, выступая вместе со своими отцом и дядей в составе Трио Уилла Мастина. Отслужив два года в армии, он вернулся в трио и начал выступать в ночных клубах, где вскоре завоевал популярность. Помимо пения и танцев Дэвис учился играть на множестве музыкальных инструментов.
В 1954 году он подписал контракт с Decca Records и выпустил свой первый альбом, озаглавленный как Starring Sammy Davis, Jr. В тот же год Дэвис попал в серьёзную автомобильную аварию, в результате чего лишился левого глаза.
Когда Дэвис находился в лечебнице, его друг актёр Эдди Кантор рассказал ему о сходстве между еврейской и афроамериканской культурами. Вдохновлённый этим разговором, Дэвис, родившийся в семье матери-католички и отца-протестанта, начал изучать историю евреев. Через несколько лет он обратился в иудаизм. Одна прочтённая им фраза, описывающая выносливость еврейского народа, особенно заинтересовала его: «Еврейский народ не умрёт. Три тысячелетия пророческих наставлений дали им неколебимый дух покорности и создали в них волю к жизни, которую не может сокрушить никакое бедствие».
Авария поставила карьеру актёра под угрозу, однако в 1955 году он вернулся на сцену. Новым шагом в его карьере стало появление в 1956 году на Бродвее в мюзикле «Мистер Вандерфул». С 1959 года Дэвис также выступал в составе коллектива «Крысиная стая» (англ. Rat Pack) Фрэнка Синатры, где был единственным темнокожим участником. Вместе с Rat Pack он снялся сразу в нескольких художественных фильмах, первым из которых стала криминальная комедия 1960 года «Одиннадцать друзей Оушена».
В 1966 году Дэвис начал вести собственную телевизионную программу «Шоу Сэмми Дэвиса-младшего», а в 1970 году появился в камео-роли в фильме «Элвис: Всё, как есть». В 1972 году он записал кавер-версию песни The Candy Man из фильма «Вилли Вонка и шоколадная фабрика», которая тут же стала хитом в США и достигла первой строчки Billboard Hot 100. В 1988 году Дэвис воссоединился с Синатрой и отправился в международное турне, где выступал также с Дином Мартином (ещё одним бывшим участником Rat Pack) и Лайзой Миннелли.
Дэвис неоднократно сталкивался с расизмом, в частности, он подвергался нападкам за свой второй из трёх браков со шведской актрисой Мэй Бритт. Также он участвовал в правозащитной деятельности, и в 1968 году Национальной ассоциацией содействия прогрессу цветного населения ему была вручена Медаль Спингарна, присуждаемая наиболее отличившимся афроамериканцам. Помимо этого Дэвис также номинировался на «Золотой глобус» и «Эмми» за свои телевизионные выступления. В 2001 году он был посмертно награждён премией Grammy Lifetime Achievement Award.