晋臣以亲年高，求外补，知汉州，除潼川路提点刑狱，以忧去。服除再召，以五事见，曰："选将帅，广常平，治渠堰，更铨法，通楮币。上谓辅臣曰："胡晋臣言可行。"
除度支郎，累迁侍御史。朱熹除兵部郎官，以病足未供职。侍郎林栗与熹论《易》不合，因奏熹不即受印为傲慢。晋臣上疏留熹而排栗，物论归重。
光宗嗣位，迁工部侍郎，除给事中，每以裁滥恩、惜名器为重，内降持不下，上嘉其有守，拜端明殿学士、签书枢密院事。正谢日，上命条上军政利害。既而朝重华宫，孝宗谓曰："嗣君擢任二三大臣，深惬朕意，闻外庭亦无异词。"晋臣拜谢。
除参知政事兼同知枢密院事。上自南郊后久不御朝，晋臣与丞相留正同心辅政，中外帖然。其所奏陈，以温凊定省为先，次及亲君子、远小人、抑侥幸、消朋党，启沃剀切，弥缝缜密，人无知者。未几，薨于位，赠资政殿学士，谥文靖。
论曰：谋大事，决大议，非凝定有立者不能也。周必大、留正一时俱以相业称，然必大纯笃忠厚，能以善道其君，光、宁禅受之际，惧祸而去，其可为有立乎哉？若胡晋臣争论朱熹，则侃侃有守者也。