Active存储知识:存储系统性能测试

2020-07-09 10:39

一套存储系统的速度不仅取决于其理论上的最高传输速度,还取决于您的使用模式,因此可能会有很大差异。通过测试软件,您在完成一系列常见任务时所能达到的预期速度:既反映最佳情况,又反映实际使用情况。我们需要明确为什么要做测试,或者说明确我们做测试的目标是什么?

从宏观上看,存储测试要考虑三个维度:

分别从这三个维度展开一下


一、测试工具

测试工具可以做什么?

BlackMagic Disk Speed Test同时提供读取分数和写入分数,我们还将其与其他类似驱动器的分数进行比较。这些分数有助于发现驱动器可以达到的理论最大速度,该实用程序通常用于识别给定的驱动器是否具有足够的吞吐量以流畅地播放特定的视频格式。

测试工具提供了诸多参数选项,可以尽可能逼真地模仿用户程序的IO模式。比如有用户告诉你他的程序会多线程随机写4K大小的数据块,他想知道他的程序跑在我们的分布式存储上性能如何? 这时你可以拿用户程序去直接跑一下,或者你也可以用测试工具模拟下用户程序来预估性能,但是如果用户很多呢,如果用户程序没有那么易上手呢?势必费时费力。 所以,测试工具帮我们应对了这个问题,我们可以提前用测试工具跑出一些常见IO模式的存储性能报告,这样当用户咨询的时候,我直接根据性能报告来匹配用户程序的IO模式来进行预估。


通常,我们做存储测试就是为了获得特定IO模式或者常见IO模式的性能数据。

存储测试时的IO模式一般要涵盖以下三个关注点:


关注IO延时:不关心每秒可以完成多少次IO,而是关心单次IO从提到到返回结果最快能多快

关注IO吞吐:在可以接受的IO延时范围内,每秒最多能完成多少次IO

关注IO带宽:不关心每秒完成多少次IO,而是关心每秒可以读写多少MB的数据


测试工具调节IO模式的一些常见参数(以fio为例)有:

blocksize、numjobs、size、rw_pattern、ioengine、direct ...

通过调节这些参数,我们就可以测试出不同关注点的性能数据。


Active使用FrameTest软件和StorNext视频测试来测量聚合的网络带宽。它们为后期生产应用程序模拟多轨道、多客户端环境。


TEST SET UP AND DATA COLLECTION

Test A – mRAID16 with 1x expansion


Hardware:

mRAID16:

82TB mRAID16 with 128GB cache, V3R6C20 firmware, 4x 600GB SSD + 8x 10TB 7200rpm SAS drive and 1x 240TB mRAID16 expansion with 24x 10TB 7200rpm SAS drive

 

Metadata controller: Cylinder MacPro, 6x 3.56GHz, 16GB, Mac OS 10.11, 1x Promise

SANLink2 converter with FW 22.1

Client 1: MacPro, 2x 6x 2.66GHz, 32GB, Mac OS 10.12, 1x ATTO FC-162P HBA

Client 2: MacPro, 4x 2.93GHz, 16GB, Mac OS 10.11, 1x ATTO FC-162P HBA

Client 3: MacPro, 4x 2.93GHz, 16GB, Mac OS 10.10, 1x ATTO FC-162P HBA

Client 4: MacPro, 4x 2.8GHz, 16GB, Mac OS 10.10, 1x ATTO FC-162P HBA

Client 5: MacPro, 2x 6x 2.66GHz, 32GB, Mac OS 10.11, 1x ATTO FC-162P HBA

Client 6: MacPro, 2x 6x 2.66GHz, 32GB, Mac OS 10.12, 1x ATTO FC-162P HBA

Client 7: MacPro, 4x 2.8GHz, 16GB, Mac OS 10.10, 1x ATTO FC-162P HBA

Client 8: MacPro, 4x 2.93GHz, 16GB, Mac OS 10.10, 1x ATTO FC-162P HBA

 

All ATTO FC-162P with driver 2.25.0f1, flash 12/13/17

2x Brocade 6505 FC switch in 16Gb/s

二、集群客户端

视线抬高,我们的关注点不再是某个用户的应用程序,而是很多用户的应用程序。这时,我们需要关注的是,一个集群客户端的性能瓶颈在哪。实际使用中,一个集群客户端可以承载多少用户应用程序的IO需求。未雨绸缪,提前规划好用户程序及集群客户端数。

三、存储集群

视线再抬高,关注点脱离单个集群客户端,这时,我们需要关注的是,多少个客户端满负荷工作能打满存储集群,也就是需要测试出整个存储集群的IO能力。

对于机械磁盘,集群的IO能力通常是可以通过底层磁盘的IO能力来进行估算的,这是因为机械磁盘性能低下,存储集群程序IO栈及网络延时的影响有限,集群IO能力变化不大。

对于非机械磁盘,其性能越好,存储集群程序IO栈及网络延时的影响会体现地越发明显,这时测试存储集群IO能力也就更加有意义。

同样,未雨绸缪,有了存储集群IO能力的参考值,我们可以提前规划集群客户端及用户应用程序。

北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房。


欲了解详情,欢迎咨询

-------------------------------

魏 明

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/128434