Рэй хотел играть на тромбоне, но семья не могла себе позволить купить инструмент (или, может быть, тромбон также не давал ему того, что он искал). В школе был контрабас, и Рэй начал играть на нём - к тому же ему некоторое время позволялось уносить его домой на выходные. Но все же, в конце концов, отцу пришлось купить ему инструмент.
Несмотря на то, что он уже имел предложения от профессиональных джаз-бэндов, мать заставила его закончить школу. Немедленно по ее окончании в 1944 году, Рэй Браун покинул город и был занят в течение полугода в "Jimmy Hinsley’s band", а затем в "Luis (Snookum) Russell’s band". В тот момент Рэй Браун испытывал сильное влияние Джимми Блантона, басиста оркестра Дюка Эллингтона.
В 1946 году Рэй Браун счел себя достаточно подготовленным, чтобы попытать счастья в Нью-Йорке. Сразу по прибытии он направился клуб на 52-й улице, где, наряду с известнейшими джазменами того времени, он встретил Хэнка Джонса, с кем был знаком, а тот, в свою очередь, познакомил его с Диззи Гиллеспи.
После прослушивания, восемнадцатилетний Рэй Браун был принят в группу. Наряду с ним и Диззи в ней играли Бад Пауэлл, Макс Роч и Чарли Паркер, а чуть позже добавился Милт Джексон. Рэй Браун оставался в оркестре Диззи до 1948 года. Тогда, в качестве приглашенного гостя, в концертах группы участвовала молодая певица Элла Фицджеральд . В 1948 году Рэй Браун оставил работу у Диззи Гиллеспи и в это же время женился на Элле Фицджеральд. C 1948 года по 1951 год Рэй Браун работал в трио вместе с Хэнком Джонсом и Чарли Смитом Брауном, где он был в том числе и музыкальным директором. Это трио наряду с собственной работой, аккомпанировало Элле Фицджеральд. В 1952 году Рэй Браун с Эллой Фицджеральд развелись, но остались добрыми друзьями на всю жизнь.
Еще в 1949 году Рэй Браун встретил Оскара Питерсона, джазового пианиста, с которым впервые сыграл в том же году на "Jazz at the Philharmonic concert", а с 1951 года началась совместная работа, которая продолжалась вплоть до 1966 года. Также в этот период Рэй Браун работает с "Milt Jackson Quartet", который через год превращается в именитый "Modern Jazz Quartet". Кроме того, Рэй Браун гастролирует с проектом "Jazz at the Philharmonic".
В 1966 году Рэй Браун переехал в Лос-Анджелес, что вызвало панику среди живущих там басистов, решивших, что Рэй Браун отнимет у них студийную работу. Браун в самом деле стал весьма востребованным студийным музыкантом, однако он кроме того занимался продюсированием и менеджментом. В то время им были написаны пособия для игры на контрабасе, и там же он разработал свой отличительный знак - инструмент, представляющий собой гибрид контрабаса и виолончели и ставший предшественником баса-пикколо. Многие молодые басисты Лос-Анджелеса в конце концов поняли, что ошибались в прогнозах. Рэй Браун не только не отнял у них работу, но и, напротив, выступил талантливым преподавателем и менеджером, продвигающим молодые таланты.
С 1972 года сотрудничает с Дюком Эллингтоном, в 70-е годы басист руководит известными джазовыми фестивалями "Monterey" и "Concord".
C 1974 года по 1982 год, Рэй Браун выступал и записал несколько альбомов с гитаристом Laurindo Almeida, саксофонистом и флейтистом Bud Shank и барабанщиком Shelly Manne, которого после 1977 года заменил Jeff Hamilton. Группа выступал под названием "The L.A. Four".
В течение своей долгой карьеры Рэй Браун записывался со многими известными музыкантами. В 90-ых Браун создает свой всемирно известный проект "Some of My Best Friends Are...", в котором он играет с самыми именитыми музыкантами старого и нового джаза.
Рэй Браун умер по дороге в Индианаполис, где должен был играть в концерте "Jazz Kitchen", в то время, когда он вздремнул после партии гольфа. В соответствии с его инструкциями на случай смерти, на похоронах была организована вечеринка - джем-сейшн продолжался весь вечер.
«Я просто играю на контрабасе уже почти шестьдесят лет. Я думаю... Басист должен всегда иметь прежде всего отличный ритм и отличный звук. Хорошо взаимодействовать с ансамблем. Что такое джаз? Джаз - это чувство. Это зависит от тебя, от того, что эта музыка для тебя означает. Для разных людей - по-разному. Для меня джаз - доброе чувство, оно заставляет меня улыбаться, двигаться, притоптывать ногой. Разные ощущения джаза чаще всего и не пересекаются, потому что те, кто по-другому чувствует, по-другому и играют. Я играю вот так - со свингом. И в коллективах, где я играл, всегда ценили именно это, иначе меня бы и не приглашали».
По версии DDD Рэй Браун занимает 4 место среди лучших джазовых музыкантов стиля хард-боп, 7 место среди лучшых джазовых басистов, его совместный с Дюком Эллингтоном альбом "This One's For Blanton" занимает 106 место среди лучших джазовых альбомов.
Его песня «Gravy Waltz» в 1963 году была удостоена Грэмми как лучшая джазовая композиция, и дважды (1990, 1991) Рэй Браун в составе трио Оскара Питерсона был лауреатом премии в номинации «лучшее джазовое выступление»