羊祜博学多才，年轻时即有“今日之颜子”的美称。但他不愿为官，虽曾多次被征召，却从不就任。羊祜娶夏侯霸之女为妻，夏侯霸降蜀后，其姻亲多与告绝，独羊祜对妻仍然恩礼如常。
司马昭为大将军后，公车征拜羊祜为中书侍郎。羊祜身为内侍，但对曹魏王室不亲不疏，后主动要求转为外臣。司马昭诛钟会后，拜羊祜为相国从事中郎。不久，羊祜又升任中将军，“执兵之要，事兼内外”，成为司马氏的重臣。
称帝，封羊祜为中军将军，后又升尚书左仆射，卫将军。晋国为吞灭吴国，最后统一天下，于泰始五年（公元269年）任命羊祜为都督荆州诸军事，率本部兵马出镇襄阳。
荆州是晋、吴两国接壤对峙之地，双方多次争战，局势一直十分紧张。羊祜到任后，首先缓和边境的紧张局势。他下令设立乡学，鼓励读书；又开放边界，允许自由往来，受到了江汉百姓的普遍欢迎。
当时吴国在石城（湖北钟祥）设防。此地形势险要，威胁襄阳，是吴国东线的重要军事基地。石城吴军经常袭扰晋国边境，羊祜对此深为忧虑。他巧设诡计迫使吴国罢守石城，撤兵离去。此举使晋吴两国东线的对峙态势发生了重大变化。
羊祜占据石城，原来晋吴两国争执不下的汉水东面的大片土地就全部归晋所有。吴国再也无法直接威胁襄阳，只能转攻为守将东部防线南撤到长江岸边。晋军的防 卫兵力也由此而减少一半，羊祜分派节省下来的兵力实行“军屯”，开垦荒田八百余顷，每年收获甚丰。羊祜初来荆州时，“军无百日之粮”；他离开时，已有“十 年之积”。
羊祜在荆州任内，曾有一段时间常常轻裘缓带，身不披甲，外出渔猎而影响军政事务。一次又欲夜出，军司徐胤执戟挡住营门，大声说道：“将军都督万里，安可轻脱！将军之安危，亦国家之安危也。胤今日若死。此门乃开耳”。羊祜听后深为感动，改容相谢，从此很少再外出渔猎。
晋国荆州地区在羊祜的治理下，军事实力得到了迅速地增强。晋武帝将汉东江夏诸军都拨归羊祜指挥，并加封他为车骑将军。
泰始八年（公元272年）吴国西陵都督步阐举城降晋。吴国将军陆抗发兵围攻西陵。羊祜奉命救援步阐，为陆抗所阻，失利而回，羊祜因而被降为平南将军。
羊祜由此得出教训：吞灭吴国还要作进一步的准备工作。他借鉴古代名将孟献、晏弱筑城控地，迫敌畏服的事例，派兵进据险要之地，修建五座城池“收膏腴之地，夺吴人之资。石城以西，尽为晋有”，对吴国形成了逼迫之势。
在加强军事压力的同时，羊祜进一步推行怀柔附远的政策。羊祜实行怀柔政策的形式是多样化的：对吴军，他约期而战，不施诡诈；对俘虏，他待之以礼，遣送回 家；对吴民，他有侵必偿，不争小利；对陆抗，他使命交通，以诚相待，可以说是从上到下，从军到民，羊祜实行了全方位的怀柔政策。
最后，羊祜实行怀柔政策取得了明显的效果：削弱了吴国军民对晋国的抗拒心理，出现了“前后降者不绝”、“吴人翕然悦服”的局面；掩护了地域上的逐步推进，争取了必要的准备时间；制造了边境平静的假象，松懈了防守吴军的戒备。
总之，羊祜的怀柔政策为晋国的灭吴之战奠定了良好的基础。
泰始十年（公元274年）七月，吴国名将大司马陆抗病卒。羊祜更加快了灭吴的军事准备，他认为攻取吴国，必须借助长江上游可以舟师疾进，顺流而下的地理 优势。羊祜知益州刺史王浚有奇才大略，益州又正处长江上游，就上表晋武帝，将已征召入朝为大司农的王浚留任益州，加封龙骧将军。羊祜随即密令王浚修造水军 舟舰，以便实施顺流之计。
咸宁二年（公元276年）十月，随着灭吴准备工作的逐步完成，羊祜在受封为征南大将军之后，正式向晋武帝提出了他筹划已久的灭吴方略。
咸宁四年（公元278年）羊祜病重，请求入朝。他带病向晋武帝面陈伐吴之计。晋武帝准备让羊祜“卧护诸将”，于病榻之上指挥伐吴大军，羊祜表示不需自己 前往，而举荐杜预代己都督荆州诸军事。杜预不负众望，成为后来灭吴之战的主要指挥者。十一月，羊祜病逝，终年五十八岁。
