快捷搜索:  test  as

焱融科技携手科大讯飞 YRCloudFile迈入IO500 Top6行列

11月18至21日,代表高机能谋略和存储行业最高水平的年度盛会SuperComputing 2019在美国丹佛举行,与谋略机能Top500榜单相对平稳的排名和趋势比拟,IO500榜单的竞争显得非常猛烈。焱融科技本次联袂科大年夜讯飞根基架构团队,在焱融科技YRCloudFile的根基之上,进行了大年夜量立异性开拓和调优,终极提交的IO500十节点机能测试数据在猛烈的比拼中位枚举世第六。相对付上半年的成就,存储机能有了400%的提升。此次联合测试的成功履历,标志着焱融科技与海内顶级人工智能企业在技巧攻关历程中取得了较大年夜冲破。

从宣布的结果上看,焱融科技本次测试的结果比上半年提升了4倍。这得益于焱融科技前期与科大年夜讯飞的慎密沟通,让我们对人工智能这种必要高机能存储支持的范例场景有了更深入的理解。在此根基上,双方工程师做了针对性的开拓和优化,从而得到了知足的成就。

在《最新举世IO500名单出炉,焱融云跻身存储厂商Top10》一文中,我们对IO500做了基础的先容,很多客户和同业对IO500体现出强烈的兴趣。在此我们再深度剖析一下IO500,进而懂得为何浩繁高机能存储和谋略的行业引导者对该榜单都高度关注的缘故原由。

总的来说,IO500十节点测试共包孕了12项测试义务,测试限定在10个客户端上履行,评估总体集群的机能体现。这12项测试模拟了各类或简单或苛刻的IO场景,涉及数据吞吐、元数据等方面操作。以下我们按履行顺序来看这些测试义务的含义,并阐发这些测试背后对应的实际利用处景:

1)ior_easy_write:

多个客户端、多个义务、并发地、顺序地、自力地向存储集群中写数据,这一项主要测试存储集群的写入能力。默认每个义务写入9.9TB,200个义务会写入PB级的数据,这个测试模拟了传统HPC写入密集型利用处景。

2)mdtest_easy_write:

多个客户端、多个义务、并发地、自力地向存储集群中创建大年夜量空文件,每个义务独有一个目录,这一项主要测试存储集群元数据的处置惩罚能力。默认每个义务写90万文件,200个义务共写入1.8亿文件。这个测试模拟了新兴的人工智能场景中写入海量文件的场景,偏重于元数据机能的测试。

3)ior_hard_write:

多个客户端、并发地、共享地写同一个文件,每个义务每次写的数据量是47008 Bytes,这一项主要测试协同写单个文件。默认每个义务要写190万次,每次写47008 Bytes。这一测试模拟的是传统HPC场景,多个谋略义务同时更新同一个文件时,文件系统锁以及并发写入的能力。

4)mdtest_hard_write:

多个客户端、并发地创建大年夜量文件,创建文件后,会写3901Bytes数据,所有义务的文件都写到同一个目录下。默认每个义务写95万文件,200个义务共写入1.9亿文件。这个测试也是模拟新兴的人工智能场景中写入海量文件的场景,与mdtest_easy_write偏重元数据机能测试不合的是,mdtest_hard_write会同时考察文件系统数据写入的能力。

5)find:

对前面创建的大年夜量文件去做find查询,考察海量文件下,基于标准POSIX语义的文件系统查询机能。

6)ior_easy_read:

多个客户端、多个义务、并发地、顺序地读取自己在ior_easy_write阶段写入的数据。该测试模拟传统HPC场景中,多客户端并发读取数据的历程。

7)mdtest_easy_stat:

多个客户端、多个义务、并发地去stat自己在mdtest_easy_write阶段创建的空文件,这个测试模拟人工智能等利用,在海量文件场景下对文件系统最常用的stat操作机能(文件系统的大年夜量操作会调用到stat接口)。

8)ior_hard_read:

多个客户端、多个义务、并发地去读取自己在ior_hard_write阶段写入的文件,每次读取数据量47008 Bytes。该测试模拟传统HPC营业,多个谋略义务并发加载数据的历程。

9)mdtest_hard_stat:

多个客户端、多个义务、并发地去stat自己在mdtest_hard_write阶段写入的文件,stat之后再读取3901 Bytes数据。该测试模拟人工智能营业检索、open、随后读取文件的历程,并评估这一历程的机能。

10)mdtest_easy_delete:

多个客户端、多个义务、并发地去delete自己在mdtest_easy_write阶段创建的文件。该测试模拟元数据集群对海量空文件并发删除的支持和机能。

11)mdtest_hard_read:

多个客户端、多个义务、并发地去读取自己在mdtest_hard_write阶段写入的文件,读取3901 Bytes数据。该测试模拟人工智能营业对元数据集群open,并读取指定小文件内容的机能。

12)mdtest_hard_delete:

多个客户端、多个义务、并发地去delete自己在mdtest_hard_write阶段创建的文件。该测试模拟文件系统对海量小文件元数据以及数据删除的机能。

从这些测试项可以看出,IO500主要测试了四大年夜类场景:

1)存储集群的吞吐能力,验证多个义务顺序写,互相之间有无数据冲突,看集群能供给的写入、读取吞吐的上限。ior_easy_write、ior_easy_read主要用于测试这个场景。

2)存储集群对付共享读写的处置惩罚能力,多个义务共享、协同地读写同一个文件,必要做必然的并发节制,否则测试将因数据错乱而报错。ior_hard_write、ior_hard_read主要用于测试这个场景,这部分测试针对的是HPC的范例IO类型。

3)存储集群对付小文件IO的处置惩罚能力,比如mdtest_hard_read、mdtest_hard_write的读写3901 Bytes,假如数据结构欠妥,这项测试的机能值会很低。

4)存储集群元数据的处置惩罚能力,重点考察集群创建、查询、删除文件的机能。此中md_hard_*还会去测试单个目录下大年夜量文件(单目录下1.9亿文件)这个场景的机能。

YRCloudFile为了支持单目录下海量文件的测试,改进了原有的元数据放置策略算法,增添了虚拟目录层,用于拆分海量文件的目录,分散目录热点,从而提升总体机能。在测试中,YRCloudFile在海量小文件场景下体现凸起。

经由过程2019年两次介入IO500测试,我们在赓续进修和追赶国际领先存储企业的先辈技巧,阐发IO500的测试,我们可以看到:

1) IO500委员会由存储业界知论理学者和专家组成,为了加强测试数据的中立,鄙人半年测试中,委员会针对测试脚本进行了修正,加倍确保测试数据的公道、公正,同时模拟真实的高机能谋略及人工智能场景,其测试数据可作为评估存储系统总体能力的一个紧张指标。

2) 介入的厂商持续维持异常高的热心和投入,上半年16家,下半年15家,既有传统厂商如DDN、NetApp、Dell、IBM、HPE、浪潮,也有新兴存储厂商WekaIO、Qumulo、焱融科技,各家都异常注重IO500的测试成就,一方面这是国际上对存储机能的公认指标,另一方面因为IO500测试脚本模拟的真实的IO场景,对付各个厂商持续改进产品也是异常好的输入。

从测试结果看,焱融科技和科大年夜讯飞这次宣布的测试数据,也是在对YRCloudFile做了针对性改进后得到了优良的成就。

接下来,焱融科技将深入总结这次测试中得到的宝贵履历,将多项技巧立异进一步反馈到产品中,赞助海内浩繁人工智能、高机能谋略的用户持续前进AI练习和数据阐发的机能,为客户供给更优秀的国产高机能存储产品。

您可能还会对下面的文章感兴趣: