Фельцман начал заниматься музыкой в возрасте пяти лет, а его первая фортепианная пьеса «Осень» появилась через год, когда ему было всего шесть лет. В 1939 году он окончил школу имени Столярского, затем поступил на композиторский факультет Московской консерватории.
Во время Великой Отечественной войны Фельцман был эвакуирован в Новосибирск, где в возрасте 20 лет стал ответственным секретарем Сибирского Союза композиторов. В Новосибирске Фельцман писал музыку для филармонии, Ленинградского Александринского театра, Еврейского театра Белоруссии. В Москву он вернулся в 1945 году. Фельцман также начал писать музыку к опереттам, цирковым номерам, эстрадным представлениям, постановкам для детей Натальи Сац. Первой из его песен стала композиция «Теплоход» на стихи Драгунского и Давидович для пародийного театра «Синяя птичка». Позднее песня вышла на эстраду, и ее неоднократно исполнял Леонид Утесов.
Также композитор написал такие известные песни, как «Черное море», «Ландыши», «Венок Дуная», «Манжерок», «Огромное небо», «На тебе сошелся клином белый свет…». Также Фельцман является автором песни «Я верю, друзья», написанной весной 1961 года, когда в космос полетел Юрий Гагарин.
Песни Фельцмана исполняли, в частности, Леонид Утесов, Марк Бернес, Владимир Трошин, Иосиф Кобзон, Муслим Магомаев, Эдуард Хиль, Валентина Толкунова, Юрий Гуляев, Лев Лещенко, Олег Анофриев и Эдита Пьеха, которую композитор называл своей любимой исполнительницей.