Narodil se v chudé židovské rodině ve Václavicích (okr. Benešov), vystudoval německo-židovskou školu v Benešově, maturoval na piaristickém gymnáziu v Praze a absolvoval rabínský seminář a filosofickou fakultu ve Vídni. Po ukončení studií se stal rabínem a působil postupně v Kojetíně, Lounech a Roudnici. Více než třicet let zastával funkci rabína v Kolíně, kde zároveň vyučoval na obchodní akademii a byl obecně velmi kulturně činný.
Feder byl autorem řady náboženských pojednání a učebnic, z nichž studovaly generace českých Židů. Hlásil se k českožidovskému hnutí a přispíval do Českožidovského kalendáře.
Po okupaci českých zemí nacisty a vytvoření tzv. Protektorátu
si Feder uvědomil, jaké nebezpečí českým Židům
hrozí a snažil se zajistit hromadné vystěhování své kolínské židovské obce kamkoli mimo dosah nacistické moci.
Žádný z vystěhovaleckých projektů, z nichž nejnadějnější se zdála být Francouzská Guinea, se však nepodařilo
realizovat.
Spolu s ostatními kolínskými Židy byl v roce 1942 deportován do terezínského ghetta, kde po celou dobu jeho existence působil jako rabín a kde byl spoluvězni uznáván jako morální opora. Osvobození se dožil v Terezíně, během věznění však zahynula jeho manželka a většina rodiny.
Po osvobození se Feder nejdříve vrátil do Kolína, kde se podílel na znovuzaložení židovské náboženské obce, později
působil jako vrchní zemský rabín v Brně. Feder velmi pečoval o připomínání památky českých obětí nacistického
konečného řešení židovské otázky
: svým zavražděným kolínským spoluobčanům v roce 1947 věnoval knihu Židovská
tragédie a založil tradici každoročních terezínských tryzen.