Active存储知识:云计算中的存储技术

2020-07-13 15:51

在云计算的领域离不开存储,那么云计算使用的存储包括三种类型:虚拟化的存储(虚拟化存储、非虚拟化存储、裸设备映射,一般用于虚拟化场景)和分布式存储(存储池和存储卷,一般用于私有云场景和虚拟化场景)、集中式传统存储(FC-SAN IP-SAN NAS,一般用于虚拟化和私有场景)

虚拟化存储架构

虚拟磁盘:由存储池提供给虚拟机使用的磁盘,后缀名为VHD。

虚拟化存储:由SAN和NAS提供的存储空间,需要添加一层文件系统(VIMS)屏蔽底层差异,性能较差。支持更多的虚拟化特性如迁移、快照等等。有文件系统。

非虚拟化存储:由分布式存储提供的存储空间,没有添加文件系统,性能较好,无法支持一些高级虚拟化特性。没有文件系统。

虚拟化存储和非虚拟化存储都是两种不同类型的数据存储,都可以给虚拟机使用。

区别:

1、 底层提供者不一样。

2、 性能不一样。

3、 特性不一样。

4、 文件系统不一样。

总结:

虚拟化存储:在存储空间上添加了一层文件系统,支持高级特性如迁移。但是性能差。

非虚拟化存储:在存储空间上没有一层文件系统,无法支持高级特性如迁移,但是性能好。

集中式存储

讲磁盘组成磁盘阵列,完成集中式的存储,并通过映射给主机使用。

1、 通过奇偶校验算法 (XOR)的方式保存数据,相同为0,不同为1。

2、 RAID 分类

RAID 0:读取数据快,但是没有数据保护机制。

RAID 1:2块磁盘组成一个RAID组,性能一般,安全性较高,磁盘利用率不高。

RAID 3:使用单独的磁盘做校验,磁盘利用率较高,读数据性能高,写时会产生抢占。

ARID 5:将校验值放入整个阵列中,缓解了抢占问题。读写性能一般。至少要3块磁盘。

RAID 10:组合RAID,性能提升较快。

RAID 50:组合RAID,提供了存储的利用率。

磁盘阵列主要采用RAID技术来保护数据,还可以提供并行读写。

热备盘技术:将快要损坏的磁盘上的数据移动到热备盘进行数据保护。

传统存储网络类型:

1、 SAN存储区域网络:利用磁盘阵列、网络设备组成专业化的存储网络。SAN网络只跑存储的数据。分为IP SAN和FC SAN两种存储。通过SCSI和iSCSI协议实现数据传递。又叫块存储,将LUN(数据块)直接映射给主机使用,LUN相当于一块裸盘,需要使用时需要格式化添加文件系统。

2、 NAS网络附加存储:利用存储设备添加文件系统,通过TCP/IP网络,利用NFS CIFS共享协议实现存储空间的映射。使用简单,造价便宜,读写性能一般。用户操控共享空间时就像操控本地硬盘一样。又叫文件存储,在NAS存储设备上添加文件系统,将有文件系统的共享目录映射给主机使用,不需要格式化,也不需要添加文件系统。

分布式存储

又叫Server SAN/SDS,将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池。对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口华为分布式存储产品叫FusionStorage,利用五个组件/软件FSM、FSA、MDC、VBS、OSD组成存储池或者存储卷。

副本机制:将一份数据复制2/3份保存到不同的位置,实现数据保护。读数据只需要一份。

虚拟化存储架构

虚拟化的存储:SAN、NAS、本地硬盘都需要添加文件系统。

SAN添加的文件系统是VIMS/虚拟化的文件系统

NAS设备添加的文件系统是NFS文件系统

本地硬盘添加的文件系统是EXT4文件系统

FusionCompute的文件系统有VIMS、NFS、ext4,都能被使用,被识别。屏蔽底层差异,形成存储融合资源池。

非虚拟化存储:由FusionStorage分布式存储提供的没有文件系统的存储池,性能较好,但是不支持迁移等特性。

存储资源:FC可以使用/对接的外部存储设备如IP SAN、NAS、FusionStorage 。

存储设备:由外部存储划分出来的存储空间,如SAN划分的LUN,NAS划分出来的共享空间,FusionStorage划分出来的存储池,本地硬盘。

数据存储:华为的称呼,FusionCmopute能够真正使用的存储空间。可以划分出虚拟机使用的虚拟磁盘。由存储设备提供的。可以分为裸设备映射、虚拟化存储、非虚拟化存储三种不同的类型。

裸设备映射:LUN提供

虚拟化存储:LUN提供、共享空间、本地硬盘

非虚拟化存储:存储池、本地硬盘

裸设备映射:将IP SAN设备的LUN直接映射给虚拟机,性能最好,没有文件系统,不支持虚拟化特性。

虚拟化存储:将LUN、共享空间、本地硬盘添加不同的文件系统,都能被FC识别使用。屏蔽底层差异,性能一般,支持所有的虚拟化特性如热迁移、快照等等。

非虚拟化存储:存储池、本地硬盘不添加文件系统,性能较好,但不支持某些虚拟化特性如迁移。

虚拟磁盘特性

磁盘类型:磁盘的使用范围,分为普通和共享。

磁盘配置模式:磁盘的数据存储方式划分

普通:划分的空间会立马置零,并从数据存储中删除分配的空间。分配多少得到多少。

普通延迟置零:分配多少就会在数据存储消耗多少,但不会置零,所以创建速度快于普通模式。

精简:根据数据量使用磁盘,分配50g,写入20g,数据存储真正损耗的空间就是20g。

磁盘模式:磁盘的使用场景划分

从属:用于快照,可以在原磁盘上创建不同的差分磁盘。所以从属磁盘就不是一个整体磁盘。

独立-持久:独立的意思是磁盘是个整体磁盘不能切分不能创建快照,持久的意思是写入即存盘。

独立-非持久:独立的意思是磁盘是个整体磁盘不能切分不能创建快照,非持久的意思是关机数据消失,有点像还原卡。

北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房。

欢迎咨询

-------------------------------

魏明

电话: 18611689687(同微信号)

Q Q: 245606702

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/128696