父親輔逵，在宋高宗南渡時立有戰功。輔廣為次子，生於軍旅，曾四試不第。後專攻周敦頤和二程學說，從呂祖謙學，後又拜朱熹為師。與同門黃幹交厚，時人稱之為「黃輔」。嘉泰年間回歸鄉里，在崇德城建「傳貽堂」教授學生，學者尊為「傳貽先生」。著有《詩童子問》、《晦庵先生語錄》、《朱子讀書法》、《六經集解》、《尚書注》、《四書纂疏》、《論語答問》、《孟子答問》、《通鑒集義》等。卒後贈朝奉郎。葬於崇德西門外郊。