首页 . 理学 . 计算机科学技术 . 计算机体系结构 . 并行处理系统

并行文件系统

/parallel file system/
条目作者安虹

安虹

最后更新 2022-12-23
浏览 153
最后更新 2022-12-23
浏览 153
0 意见反馈 条目引用

应用于多机系统上的网络文件系统,单个文件的数据采用分条等形式存放于不同的I/O节点之上,支持多机多个进程的并发存取,同时支持元数据和数据的分布存放,并提供单一的目录空间。

英文名称
parallel file system
所属学科
计算机科学技术

并行虚拟文件系统(PVFS)设计有如下特点:实现了单一的文件映像;采用了条带化(stripe)和分区(partition)技术,支持一个文件数据在多个磁盘之上和多个进程之间的分布;提供系统常用命令工具;提供多种应用接口(API);系统具有可伸缩性,即可根据情况,配置不同数量IPO服务节点。元数据缓存主要工作是分析PVFS元数据访问操作函数,并在计算节点实现一种无一致性问题的元数据缓存。计算节点缓存的主要工作是分析共享内存的优点,采用共享内存实现缓存。存储节点缓存的主要工作则是对一种存储节点缓存系统置换算法的研究。

集群文件系统是指运行在多台计算机之上,之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件系统。其与NTFS、EXT等本地文件系统的目的不同,前者是为了扩展性,后者运行在单机环境,纯粹管理块和文件之间的映射以及文件属性。

集群文件系统分为多类,按照对存储空间的访问方式,可分为共享存储型集群文件系统和分布式集群文件系统,前者是多台计算机识别到同样的存储空间,并相互协调共同管理其上的文件,又被称为共享文件系统;后者则是每台计算机各自提供自己的存储空间,并各自协调管理所有计算机节点中的文件。华睿泰(Veritas)公司的CFS,昆腾(Quantum)公司的Stornext,中科蓝鲸公司的BWFS,易安信(EMC)公司的MPFS,属于共享存储型集群文件系统。而HDFS、Gluster、Ceph、Swift等互联网常用的大规模集群文件系统无一例外都属于分布式集群文件系统。分布式集群文件系统可扩展性更强,已知最大可扩展至10K节点。

按照元数据的管理方式,可分为对称式集群文件系统和非对称式集群文件系统。前者每个节点的角色均等,共同管理文件元数据,节点间通过高速网络进行信息同步和互斥锁等操作,典型代表是华睿泰公司的CFS。而非对称式集群文件系统中,有专门的一个或者多个节点负责管理元数据,其他节点需要频繁与元数据节点通信以获取最新的元数据比如目录列表文件属性等等,后者典型代表比如HDFS、GFS、BWFS、Stornext等。对于集群文件系统,其可以是分布式+对称式、分布式+非对称式、共享式+对称式、共享式+非对称式,两两任意组合。

按照文件访问方式来分类,集群文件系统可分为串行访问式和并行访问式,后者又被俗称为并行文件系统。串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源,而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据,做到并行数据存取,加快速度。HDFS、GFS、pNFS等集群文件系统,都支持并行访问,需要安装专用客户端,传统的NFS/CIFS客户端不支持并行访问。

对于分布式集群,其对文件元数据的管理方式又可以分为单路径视图(single path image)和单文件系统视图(single filesystem image)两种方式。

机群作为一种并行或分布式处理系统,由很多连接在一起的独立的计算机组成像一个单独集成的计算资源一样协同工作。集群需要通过一个并行文件系统实现对分布在集群内各节点上的所有文件、设备和网络资源进行全局访问,并且为用户呈现出单一系统映像。无论数据存储在集群中哪个节点上,任何用户(远程或本地)都可以通过并行文件系统实现访问,甚至在应用程序从一个节点迁移到另一个节点后,应用程序仍然可以透明地访问。因此为集群系统设计一个高性能的并行文件系统有着非常重大的意义。

相关条目

阅读历史

    意见反馈

    提 交

    感谢您的反馈

    我们会尽快处理您的反馈!
    您可以进入个人中心的反馈栏目查看反馈详情。
    谢谢!