泰山南城（今山东费县西）人。家世二千石，九世有清名。羊祜为汉末蔡邕外孙，妹徽瑜为司马师妻（景献羊皇后）。曹魏末年司马昭当政，拜中书侍郎，迁给事中、黄门郎，徙秘书监，封钜平子，任相国从事中郎，与荀勖等参与司马昭机要。西晋受禅，以佐命之勋进号中军将军，加散骑常侍，进爵钜平侯。泰始五年（269），为尚书左仆射、卫将军。晋武帝有平吴之心，以羊祜为都督荆州诸军事，坐镇襄阳。本欲乘隙灭吴，而吴镇军大将军陆抗都督西陵等地诸军事，防御有方。羊祜乃开屯田，兴学校，安抚远近，甚得江汉民心。泰始八年，率兵数万迎接举城来降的吴将西陵都督步阐，但羊祜所部荆州刺史杨肇被吴将陆抗击败。双方无力决出胜负，只能相互周旋，各保分界。咸宁（275～280）初，为征南大将军、开府仪同三司。陆抗卒，羊祜即力请伐吴，计划各道分兵，水陆俱下。举荐王濬留任益州刺史，加龙骧将军，监梁、益二州军事，督造战舰，以图凭借长江上游优势，直捣建业（今江苏南京）。他认为吴主孙皓暴虐，正宜吊民伐罪，统一天下。一旦孙皓不幸而殁，吴人另立贤主，晋虽有百万之众，也难以越过长江天堑。但伐吴之议为贾充、荀勖、冯􀆓等阻挠。咸宁四年（278）春，病重归朝，举荐杜预继任其职，并力陈伐吴之策。旋卒，年58。晋以羊祜生前所献谋略用兵伐吴，两年后吴平，晋武帝执爵流涕称“此羊太傅之功也”。

羊祜性格谦恭，拒受南城郡公之爵。博学能文，著有《老子传》等。虽出身士族，但立身清俭，常散禄俸与族人、军士，家无余财。襄阳百姓在羊祜平生所游之岘山立祠建碑，岁时祭飨。望其碑石者莫不流涕，杜预因名其为“堕泪碑”。