曾国藩也十分赏识他，据说有一次曾国藩与李鸿章悄悄到军营去，营中勇兵们有的耍牌，有的猜拳喝酒，有的在说笑。而南窗下有一人裸腹踞坐，左手执书，右手持酒，朗诵一篇，饮酒一盏，大有旁若无人之状，两人视其书，乃司马迁《史记》也。巡毕出营，曾国藩对李鸿章道：诸人皆可立大功、任大事，不过将来成就最大者，乃南窗裸腹持酒之人也！
过了三天，刘铭传进京陛见，当天朝廷便有明旨一前直隶提督刘铭传，着赏巡抚衔，督办台湾事务，所有台湾镇道以下悉归节制。除了这道旨意，朝廷还下旨山西巡抚张之洞署理两广总督，因为前任两广总督张树声已于数日前病死于广州。
有人说他是吓死的，也有人说他是窝囊死的。两广总督兼辖广东、广西，桂军一败涂地，他自然有责任，更主要的是服毒自杀的广西提督黄桂兰是他一手提拔起来的，所以清流们接二连三上折，指责他难孚众望，难胜兼圻，推倭取巧，玩视边防，贻误地方，任情徇私。朝廷先是下了一道旨意将他革职留任，本意是等他立了功再复职就是了，但谁知道不久就传来了他的死讯，于是张之洞就出任两广总督了。