分布式计算的最早形态出现在20世纪80年代末的美国英特尔公司。该公司开发、使用一些新的计算技术,实现了利用多个工作站的空闲时间为芯片设计计算数据集的任务。20世纪90年代,掀起分布式计算研究高潮。截至2016年,业界已经推出多种分布式计算技术。早期主流的分布式计算技术有CORBA技术、EJB技术、NET技术等;新型主流的分布式计算技术有中间件技术、网络服务技术、网格技术、移动代理技术、云计算技术等。大多技术都得到一定程度的认同,在特定范围内得到广泛应用。
2003~2004年,美国谷歌公司推出了一套全新的分布式计算理论,以满足大数据时代数据处理的需要,包括分布式计算框架、分布式文件系统、数据存储系统等。谷歌公司没有开源的技术实现,因此其他公司根据其分布式计算模型,搭建自己的分布式计算系统,可用于离线复杂大数据处理、离线快速大数据处理,或者在线实时大数据处理等。
分布式计算的使用目的就是解决大型计算问题,比起其他算法,分布式计算具有以下优点:①共享稀有资源,价格低廉;②平衡多台计算机的计算负载,高效运作;③将程序放在最适合运行它的计算机上。分布式计算以其廉价、高效的优点越来越受到社会的关注。有些任务的完成需要庞大的计算量,仅仅由单个电脑或是个人在一段时间内完成计算是不可能的,如寻找更大的梅森素数、分析来自外太空的电信号、寻找隐蔽的黑洞、探索可能存在的外星智慧生命等。这些任务被设计成分布式计算项目,通过使用世界各地众多志愿者的计算机的闲置计算能力来进行,有些已经取得阶段性成果。