贞观二十一年（公元647年）正月初四，申国公高士廉病重，李世民为此专门辍朝一日，亲临申国公府探望。
当李世民来到高士廉的病榻前，高士廉已经行将就木，命悬一线。长孙无忌、高履行三兄弟、袁天纲及高淑行都神情悲戚地围在病榻前，随时服侍着高士廉。他们见到李世民进屋，都纷纷给李世民行礼，李世民忙摆手示意免礼。然后李世民走上前，拉着高士廉干枯的右手，忍不住泪流满面，轻声对高士廉说：
“舅父，朕来看望您了。”
高士廉一直紧闭着眼睛，听到李世民的声音，他微微地睁开眼，想起身行礼，但病体无法支撑，李世民轻抚着他瘦骨嶙峋地胸膛，继续轻声说：
“舅父，朕来看您，您好好休息，无须繁文缛节。”
高士廉看着李世民，两行清泪淌下来，他气若游丝地向李世民谈起自己的一生经历：
“圣上，我虽是北齐皇室后裔，但早年郁郁不得志。隋朝时期，因好友斛斯政叛逃高丽事件，被贬官于岭南。后来依附萧铣，为唐军所败，被俘虏到长安，这才开始为圣上效力。我有幸参与了玄武门之变，官至门下省侍中、司空等要职，封申国公，位极人臣，外甥女贵为皇后，外甥贵为司徒，长子高履行娶了东阳公主，女婿袁天纲当上了宰相，我现在已没有什么遗憾的，遗憾的是文德皇后英年早逝，如果能换命，我可以把自己的寿命换给文德皇后，好让她辅佐您更长时间。”
李世民听罢，泣不成声，他轻声对高士廉说：
“舅父您有什么要求尽管告诉朕。”
高士廉气若游丝地留下遗言，哭着与太宗诀别：
“愿圣上与太子父慈子孝，和睦相处；愿圣上能始终如一地善待功臣，让功臣得以善终；愿圣上谨慎用兵高丽，让百姓休养生息。”
高士廉说完，就气喘吁吁而不能言。李世民听罢，感叹高士廉人之将死，不提自己高家私事，全部都是忧国忧民的肺腑之言。他对着高士廉说：
“舅父，朕记住您的话了，请您放心！”说完，李世民从怀里掏出手帕，先给高士廉擦拭眼角的眼泪，再擦拭自己的眼泪时，因一时伤感而不停地抽泣起来。
贞观二十一年（647年）正月初五，高士廉去世，享年七十三岁。李世民听闻噩耗，不由地痛苦不已，为此辍朝七日，追赠司徒、并州都督，谥号文献。并亲笔写下《赐高士廉陪葬诏》，对高士廉盖棺定论：
“……故开府仪同三司、上柱国、申国公士廉，德范宏深，风猷远着，道高廊庙，望重勋贤。职在铨衡，穆九流而驰誉；位居端右，总百揆而腾芳。