339年，石虎任命撫軍將軍李農會同征北大將軍張舉進攻前燕的凡城。張舉等人進攻十多天，不能取勝，于是退軍。後張舉任太尉。348年，石虎與群臣商議立太子。太尉張舉說：「燕公石斌長于軍事統治，彭城公石遵長于禮樂教化，只看陛下選擇。」戎昭將軍張豺推薦齊公石世。石虎便與張舉、李農定議立石世為太子。349年，石虎死後，石世即位。張豺找張舉謀劃誅殺司空李農，張舉和李農關係密切，就把此事洩露給李農。李農聞訊後逃到廣宗，劉太后派張舉統領多路朝廷禁軍包圍了他們。張豺任命張離為鎮軍大將軍，監督朝廷內外的軍務。後來石閔、李農幫助石鑒奪得皇位。新興王石祗鎮守襄國，想殺掉石閔、李農。石閔、李農任命汝陰王石琨為大都督，和張舉以及侍中呼延盛率領七萬步騎兵，討伐石祗。350年，石閔脅迫石鑒改國號為衛，大殺諸胡。太宰趙庶、太尉張舉、中軍將軍張春、光祿大夫石岳、撫軍石寧、武衛將軍張季，以及公侯、卿、校、龍騰衛士等一萬多人，全都投奔襄國石祗。石祗派汝陰王石琨以及張舉、王朗率領七萬兵眾攻打鄴城，被石閔擊敗。石閔廢黜石鑒，恢復自己的冉姓，建立冉魏。石祗稱帝，延續後趙，351年，冉閔攻打包圍襄國一百多天。石祗去掉了皇帝的稱號，改稱為趙王，派遣太尉張舉到前燕請求援軍，並承諾送去傳國璽。悅綰從襄國返回，慕容儁才知道張舉所說的送傳國印璽是荒誕之辭，于是就殺了他。