泰始五年，晋武帝派羊祜都督荆州、襄阳军事。
荆襄是当时晋国和吴国的边境，由于战乱连年，百姓流离失所。羊祜到襄阳后，不言用兵，只是减轻赋税，督军垦田，恢复生产。刚到襄阳时，军粮不到百日，几年后，存粮可足10年之用。羊祜积极平息双方纷争，部下收割了吴地的粮食，都要折合成绢匹抵偿。抓到吴国士卒，想回去的发给路费。吴国士兵射伤的野兽逃到晋地，被士兵所获，封好送回。吴方主帅陆抗病了，羊祜给送去药物，陆抗毫不犹豫的服下，手下有些担心，陆抗说：「羊叔子（羊祜）怎么会是个下毒的人呢？」不久陆抗病故，吴国朝政更加腐败。羊祜觉得时机成熟了，上书建议伐吴，但没被批准。
羊祜爱好山水，经常登襄阳岘山。一次远望四处，回顾部下说：「自从有了宇宙，就有了这座山。从古到今，有多少贤达胜士，像我们今天这样到过这里？可是都湮灭无闻，这事真是使人悲伤。」
羊祜死后，荆襄境内没有人说「祜」字，有名字同音的，也改了名。襄阳百姓在岘山上为他立碑，写了碑文纪念他，人们把那块碑叫「堕泪碑」。
