唐德宗建中元年，登制科，策賢良對問第。授安邑尉、轉任殿中侍御史、右司員外郎，出為蘄州刺史。唐憲宗元和初年，擢升為給事中，不久任命他為同州刺史。謝辭皇帝，憲宗問政事，他的回答詳洽，于是留在京師，進升為御史中丞。成德節度使王承宗造反，呂元膺切諫不要以宦官吐突承璀監軍平叛。元和五年（810年），為鄂岳觀察使，入朝為尚書左丞。他性情耿介，敢于駁正。元和九年（814年），為東都留守。元和十年（815年），淄青節度使李師道在東都留置邸院，邸兵謀亂，事發，呂元膺聯合鄧、虢一帶山民平定擒破，于是招募山民為兵，以保衛洛陽宮城，稱為「山河子弟」。後來改任河中節度使，當時方鎮多姑息，只有呂元膺秉正自將。入朝拜為吏部侍郎，正色立朝。後因病改任太子賓客，去世。