胡琏从东山岛逃回后，继续受到蒋介石重用。一年后，胡琏奉调回台北任国民党军第一野战军团司令。1957年又奉调去金门，再次出任金门防卫司令。

胡琏在金门开山凿洞构筑了完整的环岛防御体系。1958年8月22日夜，台湾“国防部长”俞大维飞抵金门，视察碉堡、战壕、坑道和炮兵阵地。这时胡琏在金门防卫司令部的山谷水上餐厅设宴，为俞大为接风洗尘。在场的有防卫部副司令赵家骧、吉星文、章杰、张国英及参谋长刘明奎等二十几位高官、将军。

餐会散罢，胡琏陪着俞大维在张湖公路的山下漫步，这时俞大维叫住了胡琏，他说：对面山坡有白色烟柱一阵一阵炸开，还能听到沉闷震耳的爆炸声，那是不是共军在打炮？

胡琏抬头一看，还没来得及反应过来，紧接着就是地动山摇的爆炸声，弹片横飞，整个翠谷烟雾弥漫，东西两座小桥均被炮弹直接命中，塘坝断裂，蓄水流失，塘底弹坑累累，华丽的水上餐厅几乎被轰为平地。

俞大维本能地蜷缩身体趴在地上，他紧紧抓住胡琏的手说：“这里不安全，你跟着我走！”混乱中，两人很快走散。胡琏急命侍从们赶快出去寻找。10分钟后，俞大维被两名宪兵架进了坑道。

“八二三”炮战，令国民党军伤亡惨重：金门空军副司令章杰、海军副司令赵家骧、金门防卫副司令吉星文当场毙命，参谋长刘明奎也受重伤。

得力助手赵家骧命殒孤岛，令胡琏心灰意冷，他无意再任金门防卫司令部司令。1964年，胡琏被任命为“驻南越大使馆大使”。胡琏在南越任职8年，1972年，胡琏因病被免职回到台北疗养，任“总统府”战略顾问，并晋升为一级陆军上将。1977年6月22日胡琏因心肌梗塞在台北猝然去世。