1274年，忽必烈拜伯颜为中书左丞相，率兵攻打南宋。临行前，忽必烈对他说，当年宋太祖的大将曹彬攻打南唐，从不滥杀无辜，一举平定江南。你要体会我的心情，效法他啊，不要让我的人民横遭锋刃。

伯颜和大将阿术率领二十万军队，水陆并進，一路所向披靡，连败宋军。到达江州时，宋兵部尚书吕师夔不战而降，并在府中设宴款待伯颜，趁着酒酣耳热之际，吕师夔将二个从宋宗室里挑选出来的女子作为礼物献给伯颜。不料伯颜大怒道：我奉天子之命，以仁义之师来向宋朝问罪，女色岂能动摇我的志向！吓得吕师夔赶快跪地求饶。

伯颜一直牢记世祖的嘱咐，在战争期间，正逢疫病流行，老百姓贫病交加，饥饿难耐。伯颜下令开仓赈粮，发药治病。百姓们大为感激，都称颂伯颜的军队为王者之师。第二年，伯颜包围临安，宋恭帝交出国玺，南宋灭亡。

临安城是南宋的都城，繁华富足，金玉珍异，应有尽有，但伯颜从不为所动。進入临安后，他首先下令封存府库，登记钱谷；又命令将士一律不得擅自進城，敢于暴掠者，军法从事。因而闹市商业区热闹如故，生意照常進行。二个月后，伯颜将宋皇宫中的祭器、仪仗、图书等全数北运，宋皇室成员押解至上都。忽必烈大喜，要嘉奖伯颜，伯颜却谦虚的说：这是陛下英明决断，将士们英勇拼杀，我没有什么功劳。

在欢迎伯颜凯旋的路上，权臣阿合马为了讨好伯颜，第一个向他道贺。为表示谢意，伯颜就解下佩带的玉钩带送给阿合马，并说：宋皇宫中的宝贝确实不少，可我什么也没拿，希望你不会嫌我的礼薄。阿合马不相信伯颜的话，以为伯颜看不起自己，怀恨在心，就在皇帝面前诬陷伯颜私藏宋室至宝玉桃盏。世祖派人调查，因为没有证据而不了了之。阿合马死后，有人献玉桃盏，忽必烈愕然道：差一点冤屈了忠良。

“担头不带江南物，只插梅花三两枝”，伯颜就是这样一位不贪财，不爱色，品德高尚的将相良材啊。