幼年喪父，以孝順母親聞名。母親嘔吐懷疑中毒，李士謙跪著嘗食。伯父北魏岐州刺史李瑒說：「這孩子是我家的顏子」。十二歲時，北魏廣平王元贊召他擔任開府參軍事。後來母親去世，李士謙服喪骨瘦嶙峋。李士謙的姐姐嫁給宋氏，不勝哀痛而亡。李士謙守喪結束，捨棄宅邸住在伽藍佛寺，離開故鄉，專心學業，廣覽書籍，善于天文占卜。北齊吏部尚書辛術召他代行員外郎，趙郡王高叡推舉他有德行，他都稱病沒有就任。和士開也看重李士謙的名望，建議朝廷拔擢他為國子祭酒。李士謙知道後堅決推辭，沒有捲入北齊的政治。隋朝建立，李士謙志向不變，沒有出來做官。

李士謙家庭富裕，自身生活節儉，飲酒肉食，都會分給眾人。用自己的財產調停同鄉同族兄弟之間的財產糾紛，偷盜他家穀物的都被他釋放。李士謙善于議論宗教，不相信佛教的報應論。積善積惡應對人的轉生，佛教東傳以前賢者就已經主張了。客人問三教的優劣，李士謙回答「佛教如日，道教如月，儒教如五星」。李士謙作詠懷詩，總是毀掉詩的底稿，不讓他人看見。李士謙論刑罰，否定死刑的抑止力，主張部分恢復肉刑。588年（開皇八年），在家中去世。享年六十六歲。

其妻范陽盧氏有婦德，丈夫李士謙死後，對所有贈予的送葬品，全不接受，對州里父老說：「參軍平生好施捨。現在雖然去世，怎麼能強行改變他的志向呢」，于是散發粟五百石救濟窮人。李士謙懿德善行主要表現在賑濟貧苦鄉民方面，這在歷代隱士中是不多見的。