哥哥平輿縣令韋順，字淑文。韋豹多次受到官府徵召，他總是藉故離去。司徒劉愷再次徵辟，說：「卿喜歡輕易放棄官職，爵位不得晉升。今年年底，當選御史，我意在推薦你，你留下等一等嗎？」韋豹說：「我年紀老了，精力不濟，仰慕您的崇恩，故不能捨得離開。現在眼睛昏花，不堪久等，選薦的美意，非所敢當。」于是光著腳就離去。劉愷追他，他徑去不回頭。漢安帝西巡，征拜他為議郎。其弟韋義，其子韋著。