沛国谯（治今安徽亳州）人。其父与曹操同为曹节的曾孙。祖父曹鼎，曾为汉吴郡郡守、尚书令。东汉末年，曹操以讨董卓之名，组织武装。曹休闻讯，从吴郡辗转投奔曹操，曹操称其为“吾家千里驹也”，委任其领虎豹骑宿卫，负责自己的警卫，常从征战，后为中领军、领军将军，封东阳亭侯。曹魏代汉后，继去世的夏侯惇主持与孙吴对峙的江淮间军务，以功进封安阳乡侯。黄初五年（224），魏文帝曹丕亲征孙权，军至广陵（今江苏扬州），曹休进位征东大将军、假黄钺，督张辽诸军击败吴将吕范等，拜扬州牧。七年，曹丕临终遗诏中军大将军曹真、镇军大将军陈群、征东大将军曹休、抚军大将军司马懿四人为顾命大臣，辅佐明帝。明帝即位后，进封曹休为长平侯，迁大司马，仍然负责对孙吴的攻防战事。太和二年（228），明帝依曹休之策，兵分二路伐吴，一路由司马懿率领，自汉水而下，向江陵（今湖北荆州）；一路由曹休率领，兵向寻阳（今湖北黄梅）及皖（今安徽潜山）。曹休为诈降所诱，孤军深入，被陆逊统帅的吴军在夹石（今安徽桐城）击败，损兵万余、车乘万余辆，幸为接应的贾逵援助，得以退守石亭（今安徽潜山东北），当年九月病死于石亭。

曹休死后，归葬于洛阳，谥曰壮侯。正始四年（243），魏帝曹芳诏以曹休等功臣20人配祀武帝曹操庙庭。2010年5月17日，河南省文物局在洛阳召开邙山陵墓群考古新成果发布会，公布了曹休墓于2009年被发现于洛阳的信息。