Ефрем Цимбалист-младший родился в Нью-Йорке в семье знаменитого скрипача Ефрема Цимбалиста (родом из Ростова-на-Дону) и оперной певицы Алмы Глук (урождённой Ребы Файнзон, родом из Румынии). В 1940 году он окончил Йельский университет, а спустя несколько лет состоялся его актёрский дебют в театре.
Его родители, Алма Глук и Ефрем Цимбалист-старший, были ассимилированными нерелигиозными евреями. Они крестили своих детей в епископальной церкви и воспитывали их в этой вере. Ефрем-младший рассказывал, что его водили в церковь каждое воскресенье и посещал епископальную школу-интернат в Нью-Гемпшире. Посещал он церковь каждое воскресенье и со своей первой женой. В конце 1970-х он увлёкся харизматическим христианством, но впоследствии вернулся к епископальной церкви.
В 1946 году Цимбалист впервые появился на телевидении, где в дальнейшем и приобрёл наибольшую популярность. У него были роли в телесериалах «Мэверик», «77 Сансет-Стрип», «Гавайский глаз», «ФБР», «Интуиция», «Ремингтон-Стил», «Отель», «Она написала убийство», «Зорро», «Вавилон-5» и многих других. На большом экране Цимбалист появлялся намного реже и в основном на второстепенных ролях. Среди кинофильмов с его участием такие картины как «Банда ангелов» (1957), «Хэрлоу» (1965), «Дождись темноты» (1967), «Аэропорт 1975» (1974) и «Горячие головы» (1991). К тому же Цимбалист известен как актёр озвучивания — его голосом говорил Альфред Пенниуорт в мультсериалах «Бэтмен» и «Лига справедливости», король Артур в «Легенде о принце Валианте», Джастин Хаммер в «Железном человеке» и Доктор Осьминог в «Человеке-пауке».
Ефрем Цимбалист был женат дважды, и обе его супруги скончались от рака. Его дочь от первого брака Стефани Цимбалист, как и отец, стала актрисой.