Алексей Грибов родился 18 (31) января 1902 года в Москве, в рабочей семье.
Учился в начальном городском училище в Леонтьевском переулке Москвы. Работал на шелкоткацкой фабрике, пробовал учиться на бухгалтера. В 1919 году попал в Школу-клуб № 2 Замоскворецкого района, затем в Студию им. Горького, где ставили инсценированные рассказы (сыграл эпизод в «Стране отцов» по повести С. И. Гусева-Оренбургского, 1923).
В 1924 году по окончании школы при 3-й студии МХАТа вступил в труппу Московского Художественного театра. Первая значительная роль — мистер Крегс («Битва жизни» по Ч. Диккенсу, 1924). Выходил на сцену театра 50 лет.
Как отмечают театроведы, «Грибов был мастером разнообразнейших вариантов русского национального характера». Играя в пьесах А. П. Чехова, актёр тонко передавал чеховскую поэзию. Сыграл галерею персонажей в пьесах М. Горького.
Часто выступал и в сатирических ролях — Собакевич («Мёртвые души» по Н. В. Гоголю), Хлынов («Горячее сердце» А. Н. Охловский), Епиходова («Вишнёвый сад» А. П. Чехова). Именно комедийно-сатирические персонажи принесли ему успех в кино.
Одной из главных театральных удач была роль Фомы Опискина в спектакле по сатирической повести Ф. М. Достоевского «Село Степанчиково и его обитатели» (1970). В 1973 году вышел одноимённый телеспектакль МХАТа.
Первый актёр, воплотивший на сцене МХАТа образ В. И. Ленина («Кремлёвские куранты» Н. Ф. Погодина).
В годы Великой Отечественной войны часто выезжал на фронт в составе фронтовых бригад.
Гастролировал с театром за рубежом: Япония, Англия, Франция.
C 1935 года начал сниматься в кино.
Много лет озвучивал мультфильмы на студии «Союзмультфильм».
С 1970 года преподавал актёрское мастерство в Школе-студии МХАТ.
Член ВКП(б) с 1944 года.
Во время гастролей театра в Ленинграде в 1974 году, исполняя роль Чебутыкина в «Трёх сёстрах», актёр пережил инсульт, однако по его просьбе спектакль, в итоге оказавшийся последним в его карьере, был доигран. В течение следующих трёх лет актёр заново учился писать и говорить, начал ходить с палочкой и приступил к занятиям со студентами Школы-студии МХАТ, однако осенью 1977 года состояние здоровья вновь ухудшилось.
Скончался Алексей Николаевич Грибов 26 ноября 1977 года в Москве от инсульта. Похоронен на Новодевичьем кладбище (участок № 9).