房暉遠世代家傳儒學。幼時開始學習三禮、春秋三傳、《詩經》、《書經》、《周易》，同時精通圖緯。教授儒學，弟子有一千多人。北齊南陽王高綽擔任定州刺史，召他為博士。北周武帝滅北齊，召他為小學下士。隋朝建立，擔任太常博士。牛弘稱他為「五經庫」，韋世康推薦他為太學博士。隨鄭譯修正樂章。他的母親去世，因守喪辭職。數年後，受位殄寇將軍，再任太常博士。被提拔為國子博士。

文帝命令通一經的國子生都要被推薦選拔任用。測試結束後，博士不能及時判定好壞。國子祭酒元善問其中原因，房暉遠說「江南、河北對經書的解釋不同，博士不能兩方面都精通方。學生都抓住對方的短處，稱揚自己的優點。博士意見不能一致，所以遲遲未決」。元善于是讓房暉遠判定。四五千人數日測試完畢，儒者都佩服房暉遠對經書解釋博學通達。

文帝問群臣「古代以來天子有女樂嗎？」楊素以下大臣不知，就說沒有女樂。房暉遠回答「臣聞『窈窕淑女，鐘鼓樂之』。這就是王者房中的音樂，記載在《雅》《頌》不能說沒有」。文帝非常高興。

仁壽年間，在官任上去世，享年七十二歲，追贈員外散騎常侍。