淮军脱胎于湘军,其营制、饷章、筹建方法与湘军相同,但训练用洋操,兵器是洋器,并聘有西洋军官为教习。咸丰十一年(1861),湘军占领安庆后,曾国荃沿江而进,左宗棠进攻浙江,李鸿章支援上海,兵分三路对抗太平军。此时曾国藩已有“裁湘建淮”的打算,便命李鸿章在安庆招募淮勇。
同治元年(1862)二月,李鸿章在安庆编成一军,称“淮勇”,又称“淮军”。其后,淮军乘英国轮船,闯过太平天国辖境,前往上海。抵达上海后,又以外军的支援和上海海关税收购置洋枪洋炮,扩编部队。至同治三年,淮军先与英、法军和常胜军相配合,在上海附近对抗太平军,又配合湘军在苏、浙等地进攻太平天国。太平天国首都天京(今南京)陷落后,淮军经过裁撤,尚存五万余人。同治四年至同治七年,淮军作为清军主力,在曾国藩、李鸿章率领下,先后在安徽、湖北、河南、山东、江苏、直隶(今河北)等地,与捻军作战。捻军被镇压后,淮军担负北自天津、保定,南迄上海、吴淞,南北数千里江海要地的防守。
淮军主要将领张树声、丁汝昌、叶志超、聂士成等,在晚清形成淮系军阀。李鸿章以淮军势力为基础,担任直隶总督兼北洋大臣,掌握了国家外交、军事和经济大权,成为晚清政局中的重要人物。
在中法战争、中日甲午战争中,湘军先后惨败,势力逐渐衰落。袁世凯的新式陆军产生后,淮军失去国防军的地位,变为次要的巡防队。光绪、宣统之交,革命军图谋在长江起义,清廷调北洋淮军巡防队一部移防长江,后来张勋曾指挥这支部队在南京与革命军作战。淮军巡防队迄清亡而尚存。