AFSGFS QKFile主流分布式存储文件系统

Written by on 2020年8月2日 in 电竞赛事竞猜平添
标签:

主流的3种分布式存储文件系统 存储架构分两种,一种是传统存储阵列架构,另一种就是本文将要重点介绍的分布式存储架构。进入大数据时代,随着数据量的飞速增加,企业对于数据存储的可扩展性不断提出要求,而具有扩展性强、价格低廉特点的分布式存储系统则渐渐成为众多企业的选择。可以说,得益于大数据的繁盛发展,分布式存储架构在近几年中得到了前所未有的关注。 当前市场上,比较主流的3种分布式存储文件系统,分别有AFS、GFS、Lustre。它们基本都有一个共通点全局名字空间、缓存一致性、安全性、可用性和可扩展性。

1.AFS 由卡内基美隆大学最初设计开发的AFS,目前已经相当成熟,用于研究和部分大型网络中。AFS是AndrewFileSystem的简称,它的主要组建包括Cells、AFSclients、基本存储单元Volumes、AFSservers和Volumereplication。 拥有良好可扩展性的AFS,能够为客户端带来性能的提升和可用性的提高。AFS将文件系统的可扩展性放在了设计和实践的首要位置,因此AFS拥有很好的扩展性,能够轻松支持数百个节点,甚至数千个节点的分布式环境。它实现的是模块化的,所以并不要求在每台服务器上运行所有服务器进程。 但值得一提的是,AFS的缺点在于管理员界面友好性不足,需要更多的专业知识来支持。

2.GFS 被称为谷歌文件系统的GFS(GoogleFileSystem),是用以实现非结构化数据的主要技术和文件系统。它的性能、可扩展性、可靠性和可用性都受到了肯定。它主要运行在大量运行Linux系统的普通机器上,能大大降低它的硬件成本。 文件的大小,一直是文件系统要考虑的问题。对于任何一种文件系统,成千上万的几KB的系统很容易压死内存。所以,对于大型的文件,管理要高效,对于小型的文件,也需要支持,但是并没有进行优化。在GFS中,chunkserver的大小被固定为64MB,这样的块规模比一般的文件系统的块规模要大得多,可以减少元数据metadata的开销,减少Master的交互。但是,太大的块规模也会产生内部碎片,或者同一个chunk中存在多个小文件可能会产生访问热点。

3.QKFile qkf是qkfile项目的燃料,qkfile项目是一个全球性的公共分布式文件系统,可以给网盘、云存储、短视频、图片、cdn等领域提供可靠的文件存储分发服务,现在文件存储行业的市场规模是千亿美元级别,qkfile项目就是瞄准这个市场而推出的。未来所有的app、网站都可以使用qkfile项目提供的分布式文件系统,存储、分发数据,大家聊天发的图片,朋友圈发的视频,都可以使用qkfile。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

Comments«