经典分布式文件系统全介绍

《经典分布式文件系统全介绍》由会员分享，可在线阅读，更多相关《经典分布式文件系统全介绍（94页珍藏版）》请在文档大全上搜索。

1、经典分布式文件系统介绍目录分布式文件系统概念和原理分布式文件系统概念和原理经典分布式文件系统介绍经典分布式文件系统介绍经典分布式文件系统比较经典分布式文件系统比较 文件系统的定义文件系统的定义文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。文件系统分类根据计算环境和所提供功能的不同，文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统如DOS的文件系统；多处理器单用户的本地文件系统如OS/2的文件系统；多处理器多用户的本地文件系统如Unix的本地文件系统；多处理器多用户的分布式

2、文件系统如Lustre文件系统。 互联网的发展海量数据的存储系统负载的转移分布式文件系统产生背景分布式文件系统产生背景 以下情形，您应考虑实施DFS：1.期望添加文件服务器或修改文件位置；2.访问目标的用户分布在一个站点的多个位置或多个站点上；3.大多数用户都需要访问多个目标；4.通过重新分布目标可以改善服务器的负载平衡状况；5.用户需要连续地访问目标；6.组织中有供内部或外部使用的网站。 分布式文件系统适用场景分布式文件系统适用场景 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文

3、件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样分布式文件系统定义分布式文件系统定义基本的分布式文件系统网络文件系统(NFS)虚拟文件系统(VFS)Andrew文件系统(AFS) 虚拟文件系统虚拟文件系统(VFS)(VFS)是由是由Sun microsystemsSun microsystems公司公司在定义网络文件系统在定义网络文件系统(NFS)(NFS)时创造的。它是一种时创造的。它是一种用于网

4、络环境的分布式文件系统，是允许和操用于网络环境的分布式文件系统，是允许和操作系统使用不同的文件系统实现的接口，是物作系统使用不同的文件系统实现的接口，是物理文件系统与服务之间的一个接口层，它对理文件系统与服务之间的一个接口层，它对LinuxLinux的每个文件系统的所有细节进行抽象，使的每个文件系统的所有细节进行抽象，使得不同的文件系统在得不同的文件系统在LinuxLinux核心以及系统中运行核心以及系统中运行的其他进程看来，都是相同的。严格说来，的其他进程看来，都是相同的。严格说来，VFSVFS并不是一种实际的文件系统。它只存在于内存并不是一种实际的文件系统。它只存在于内存中，不存在于任何外

5、存空间。中，不存在于任何外存空间。VFSVFS在系统启动时在系统启动时建立，在系统关闭时消亡。建立，在系统关闭时消亡。传统分布式文件系统传统分布式文件系统NFS定义定义 虚拟文件系统虚拟文件系统(VFS)(VFS)是由是由Sun microsystemsSun microsystems公司公司在定义网络文件系统在定义网络文件系统(NFS)(NFS)时创造的。它是一种时创造的。它是一种用于网络环境的分布式文件系统，是允许和操用于网络环境的分布式文件系统，是允许和操作系统使用不同的文件系统实现的接口，是物作系统使用不同的文件系统实现的接口，是物理文件系统与服务之间的一个接口层，它对理文件系统与服务

6、之间的一个接口层，它对LinuxLinux的每个文件系统的所有细节进行抽象，使的每个文件系统的所有细节进行抽象，使得不同的文件系统在得不同的文件系统在LinuxLinux核心以及系统中运行核心以及系统中运行的其他进程看来，都是相同的。严格说来，的其他进程看来，都是相同的。严格说来，VFSVFS并不是一种实际的文件系统。它只存在于内存并不是一种实际的文件系统。它只存在于内存中，不存在于任何外存空间。中，不存在于任何外存空间。VFSVFS在系统启动时在系统启动时建立，在系统关闭时消亡。建立，在系统关闭时消亡。传统分布式文件系统传统分布式文件系统 VFS定义定义 VFS结构图结构图关于VFSVFS作

7、为Linux内核中的一个软件层，用于给用户空间的程序提供文件系统接口，同时也 提供了内核中的一个抽象功能，允许不同的文件系统很好地共存;VFS的源代码集中在/usr/src/kernels/2.6.18-194.el5-i686/fs/fs.h目录下，关于它的数据结构的描述在文件/usr/src/kernels/2.6.18-194.el5-i686/include/linux/fs.h中。 AFSAFS（The Andrew File System The Andrew File System ）是美国卡内）是美国卡内基梅隆大学开发的一种分布式文件系统基梅隆大学开发的一种分布式文件系统; ;

8、主要功能是用于管理分布在网络不同节点上的主要功能是用于管理分布在网络不同节点上的文件。与普通文件系统相比，文件。与普通文件系统相比，AFSAFS的主要特点在的主要特点在于三个方面：分布式、跨平台、高安全性。于三个方面：分布式、跨平台、高安全性。AFSAFS提供给用户的只是一个完全透明的、永远唯提供给用户的只是一个完全透明的、永远唯一的逻辑路径，一的逻辑路径， AFSAFS的这种功能往往被用于用的这种功能往往被用于用户的户的homehome目录，以使得用户的目录，以使得用户的homehome目录唯一、目录唯一、而且避免了数据的不一致性。而且避免了数据的不一致性。 传统分布式文件系统传统分布式文件

9、系统 AFS定义定义目录分布式文件系统概念和原理分布式文件系统概念和原理经典分布式文件系统介绍经典分布式文件系统介绍经典分布式文件系统比较经典分布式文件系统比较 LustreLustre文件系统是一个基于对象存储的分布式文件系统是一个基于对象存储的分布式文件系统，也是一个开源项目。文件系统，也是一个开源项目。LustreLustre项目与项目与19991999年在年在Carnegie Mellon Carnegie Mellon UniversityUniversity启动，现在已经发展成为应用最广启动，现在已经发展成为应用最广泛的分布式文件系统。泛的分布式文件系统。LustreLustre已

10、经运行在当今世界上最快的集群系统已经运行在当今世界上最快的集群系统里面，比如里面，比如Bule GeneBule Gene，Red StormRed Storm等计算机系等计算机系统，用来进行核武器相关的模拟，以及分子动统，用来进行核武器相关的模拟，以及分子动力学模拟等等非常关键的领域。力学模拟等等非常关键的领域。 经典分布式文件系统一：经典分布式文件系统一：LustreLustre Lustre特征及使用场景Oracle公司的企业级产品，非常庞大 ；在高校、国家实验室和超级计算研究中心产生了一定影响，未来几年中，它很有可能进入普通的商业计算机领域。Lustre集群架构 Lustre功能模块一

11、元数据存储与管理MDS负责管理元数据，提供一个全局的命名空间，Client可以通过MDS读取到保存于MDT之上的元数据。在Lustre中MDS可以有2个，采用了Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服务。MDT只能有1个，不同MDS之间共享访问同一个MDT。 Lustre功能模块二文件数据存储与管理OSS负载提供I/O服务，接受并服务来自网络的请求。通过OSS，可以访问到保存在OST上的文件数据。一个OSS对应2到8个OST，其存储空间可以高达8TB。OST上的文件数据是以分条的形式保存的，文件的分条可以在一个OSS之中，也可以保存在