吳士矩在文學很早就學有所成，喜與英雄豪傑交往，因此人人為他傳名。大和七年（833年）四月十六，以同州刺史吳士矩為江西觀察使。為江西觀察使時，宴飲奢侈，一日花費達十數萬錢。剛到任時，官庫有二十七萬緡錢，晚年只剩下九萬，軍用匱乏，無法供應。事發，御史中丞狄兼謨彈劾：「觀察使守陛下土地，宣陛下詔條，臨戎賞軍，州有定數。吳士矩與奪由己，盈縮自專，不只貽弊一方，必使諸軍援例。請付有司治罪。」朝廷內外都為他開脫，結果按皇親論罪，唐文宗不再追究，貶為蔡州別駕。諫官堅持按罪論處，文宗不納。于是狄兼謨建言：「陛下擢任吳士矩，非是私情；吳士矩辜負陛下應該治罪，也非私情。請遣御史至江西就地審訊，于是杜絕江淮其他藩鎮因循之心。」開成三年（838年）五月初五，唐文宗下詔：前江西觀察使吳士矩坐贓，長流端州。