何胤是司空何尚之的孙子，宜都太守何铄的儿子。何点之弟。何胤长大后好学，开始初向沛国刘瓛学习，学《易经》及《礼记》、《毛诗》。又入钟山定林寺学佛典，精通内外典籍，深得刘瓛赏识。

何胤性情任情纵诞。在齐朝，起家任秘书郎，转任国子博士、太子舍人，出任建安郡太守，为政有恩信，人不忍欺，每年伏天、腊月放囚犯回家，囚犯依期而反。入朝为司徒主簿、中书郎、太子中庶子、领国子博士，继王俭、张绪之后，撰定新礼。齐武帝永明十年（493年），官至侍中、领步兵校尉，转任国子祭酒。萧昭业即位，命他任左民尚书、中书令。领临海、巴陵王师。隆昌元年（494年）何胤是何皇后的堂叔，萧昭业非常亲近信任他，让他在殿省入值。萧昭业与何胤共同策划诛杀萧鸾，命令何胤承担这件事情，但是何胤不敢担当，不顾郁林王的意图而反覆劝谏，萧昭业只好作罢。萧鸾杀萧昭业篡位，是为齐明帝。

何胤虽然显贵，常怀止足之心。建武初年，拜表解职，辞官隐居于会稽（治今浙江绍兴）若邪山云门寺。永泰元年（498年）王敬则想挟持隐居在若邪山的何胤出任尚书令，被长史王弄璋劝阻。何胤迁居秦望山隐居，筑学舍来教授生徒，终身不仕，与兄何求、何点并为著名隐士，世号小山，亦称东山。永元年间，征为太常、太子詹事，并不就任。

萧衍起兵反萧鸾的儿子萧宝卷，引用何胤为军谋祭酒，何胤不至。梁朝取代齐朝，萧衍即位梁武帝，授何胤以特进、右光禄大夫、给白衣尚书，又每月给库钱五万，何胤不受，仍以教授为业。梁武帝于是派遣何子朗、孔寿等六人至若邪受学。晚年何胤迁居吴郡虎丘山西寺讲经，学徒跟随。著有《周易注》十卷、《毛诗总集》六卷、《毛诗隐义》十卷、《礼记隐义》二十卷、《礼答问》五十五卷、《注百法论》一卷、《十二门论》一卷。

何胤很讲究美食，隐居后仍吃白鱼、糖蟹。何胤茹荤，就指人喜食荤物。唐朝皮日休《闻开元寺开笋园寄章上人》：折烟束露如相遗，何胤明朝不茹荤。