羊祜到荆州前线后，认真分析了东吴政权的政治、军事状况。从政治上看，枭雄一世的东吴国主，已经逝世了，孙皓继任后，政治逐渐走向腐败；从军事上 看，东吴一代名将陆逊、程普等都相继逝世，但陆逊的儿子陆抗却仍有乃父遗风，才略不减前人。东吴拥有军队二十万，善于水战，凭借长江天险与晋国抗衡，是一 支不可轻视的力量。考虑到这些，羊祜暗暗定下了争取民心的策略。
羊祜出镇南夏，开垦土地，开设学校，访贫问苦，救济危难，做了许多利 民便民的好事，深得江汉人心。羊祜还对东吴。每次与东吴军队交战，他都事先通知对方，从来不偷袭掩杀。吴国士兵投降晋国后，如果愿意还乡，羊祜随 时放他们回乡。一天，晋军士兵抓来两个俘虏，羊祜了解到他们是一对兄弟，家中还有年迈的父亲，便立即把他释放了，不久，吴军将领夏祥、邵铠率领部下投降， 那对被释放的兄弟的父亲，带领全族的人跟随降军向晋国投诚。
秋天来了，晋军为了储存冬季的粮草，进入吴国境内收粮割草，羊祜要求全军 在收割粮草时必须严格遵守纪律，认真计算粮草的数量，并以同等价值的丝绢偿还农户。当时，食品非常匮乏，晋军的将领们经常带领士兵们打猎，羊祜严令各军， 只能在晋国地盘上射猎，不准擅自进入吴国境内。有时，士兵们眼睁睁地看着带伤的猎物逃入吴国境内，却不得不停止追击。然而，对吴国士兵打伤而逃入晋国境内 的禽兽，羊祜则规定必须归还吴国士兵。于是，吴国人心悦诚服，感恩戴德。江汉一带的百姓，都称羊祜为“羊公”，却忘记了他的名字。
陆 抗是东吴末年难得的优秀将领，他虽然与羊祜隔界对抗，以兵戈相见，但内心十分敬佩羊祜，暗自叹服道：“羊公的德量，即使是乐毅、也未必能够超过。” 一次，陆抗生了病，羊祜知道后，便派人前去看望，还送去一罐汤药，陆抗端起药就要喝，左右的人忙制止道：“晋国人送的药，哪里能随便喝呢？”陆抗却说： “羊公怎么会在药里下毒呢？”于是将药一饮而尽。
此时，东吴政权日趋腐败，孙皓荒淫骄虐，残害忠良，横征暴敛，百姓苦不堪言。陆抗痛 感国事日非，却无回天之力。孙皓多次下诏催促陆抗发兵攻晋，陆抗上书道：“即使是在一个乡邑，对百姓都不能不讲恩义，何况作为一个大国呢？我如果劳师兴 众，对羊祜实际上并不会有什么伤害，反而张扬了他的恩德。”陆抗坚持约兵自卫，吴晋两国军队相安无事。
公元277年，羊祜得了重病，他感到时间已不多了，便请求入朝谒见晋武帝司马炎，面陈伐吴之计。司马炎因羊祜染病不宜入宫，特地派遣中书令张华前往南夏，听取筹策。
当时，对进兵江南，朝廷中有不少官员持反对态度，羊祜对张华说：“天下不如意的事十居七八，机遇是不多的。现在吴国虐政日甚一日，而陆抗已去世三年，这 真是天赐良机，如果出兵，可以不战而克。苍天给予而我们却不取，将来是要后悔的。假如孙皓不幸而死，吴国人更立明主，到那时，即使有百万甲兵，也难以越过 长江，还会给子孙后代留下后患。”张华深表赞同，对羊祜说：“圣上进军江南的决心已定，并决定由你担任征南军队的统师，你可以坐卧在车船之上，指挥诸军作 战。”羊祜答道：“收取江南不一定非要我亲自去做，立功扬名的事，我不敢自居。”他推荐杜预担任统帅，并一再告诫张华说：“平定江南易如反掌，这件事圣上 不用操心。但在平定吴国后，将军们可能会争功，这件事一定要处理得当。为了国家的长治久安，还要慎重地选择辅国的人才，这些都有劳圣虑了。”
第二年，羊祜病逝，晋国举国哀悼。大殡的那天，司马炎身着素服，亲自送殡。当时正值严寒的冬季，司马炎久久不愿离去，悲伤的涕泪洒在须发上，全部凝结成 冰粒。江汉的百姓得知羊祜病逝的消息，沉浸在万分悲痛之中，赶集的人自动罢市，哭声响成一片，连吴国守边的将士们都流下伤心的眼泪。
百姓们为了纪念羊祜，在砚山上为他建碑立庙，清明时节，成千上万的人来到砚山缅怀羊祜。见到羊公碑，人们没有不落泪的。因此，后人把羊公碑改称“坠泪碑”。
羊祜逝世后，司马炎任命杜预为镇南大将军，都督荆州诸军事。公元279年，也就是羊祜逝世后一年，晋国军队分三路大举伐吴，杜预攻占了东乡（今湖北松滋 县东），吴国军民投降万余人。接着，杜预又攻占了江陵（今湖北枝江、潜江县一带），于是，湘江、沅江以南，直至交州、广州（相当今天广东的大部、广西的一 部分，越南东北部的地带），吴国的大小郡邑都望风归命，纷纷投降，局势很快就稳定下来。第二年，晋国将军王，指挥水军攻克石头城（今江苏南京市），孙皓 投降，立国五十七年的东吴从此灭亡。
捷报传到晋国朝廷，文武群臣都来向司马炎祝贺。司马炎手执酒杯，流着泪对群臣说：“这都是羊将军的功劳啊！”接着，司马炎带领文武大臣到羊祜的墓前去祭奠，把胜利的喜讯告慰已经长眠地下的羊祜。
