以門蔭入仕。初任藍田尉，後由楊國忠署為鑄錢內作使判官，整頓鑄錢，監修宮內土木。唐玄宗時官至大理評事。天寶十五載（756年），安祿山造反，隨玄宗避亂入蜀，歷任監察御史、劍南節度行軍司馬。當時內官禁軍相繼至蜀，侵暴難治，韋倫清儉率身教化，蜀川靠他得以安定。又被第五琦舉薦，任商州刺史。唐肅宗乾元末年，充荊、襄等道租庸使，平定了襄州裨將康楚元、張嘉延叛亂。後來觸犯了李輔國，未任山南東道節度使，而改任秦州刺史。唐代宗即位，歷忠州、台州、饒州三州刺史，為宦官用反間計，貶為信州司馬。遇赦，寓居洪州十數年。唐德宗即位，從洪州征回，以白衣拜太常少卿，充通吐蕃使，兩次出使吐蕃，奉使稱旨，改太子少保。因直言朝廷得失，為盧杞所惡，以太子少師致仕。封郢國公。去世後謚號肅。