Active存储知识:SAN的存储架构技术解析
SAN:存储区域网络(Storage Area Networks)是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。传统存储的结构与缺点
存储网络集中常见的类型:
图:存储网络常见的类型
DAS基础概念:
DAS技术是最早被采用的存储技术,如同PC机的结构,是把外部的数据存储设备都直接挂在服务器内部的总线上,数据存储设备是服务器结构一部分,但由于这种存储技术是把设备直接挂在服务器上,随着需求的不断增大,越来越多的设备添加到网络环境中,导致服务器和存储独立数量较多,资源利用率低下,使得数据共享受到严重的限制。因此适用在一些小型网络应用中。
DAS存储更多的依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
直连式存储与服务器主机之间的连接通道通常采用SCSI连接,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。
无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。
DAS的结构与缺点:
图:DAS的结构
开放系统的直连式存储(Direct-Attached Storage,简称DAS)
DAS的优点:
1.部署简单 2、成本低 3、适合本地数据存储
DAS存储缺点:
1.扩展性差
2.资源浪费
3.管理分散
4.异构化问题
5.数据备份问题
DAS采用的连接协议:
1.ATA(IDE)和SATA
2.SCSI(又分为并行和串行,并行适合内部DAS,串行适合外部DAS)
3.FC
SAN存储基本结构
SAN存储定义及组网:
SAN:存储区域网络(Storage Area Networks)是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。
图:SAN的三种组网方式
如上图,SAN有三种组网方式,分别为:
1.直连组网
2.单交换组网
3.双交换组网
SAN组件介绍:
1.存储阵列设备
2.光纤交换机
3.主机总线设配卡
4.光纤线缆
图:SAN组件
SAN存储特点:
1.业务高性能
2.集中、远程、灵活的管理
3.存储资源动态共享
4.不占用业务网络资源
5.高扩展性
6.兼容SCSI存储设备
SAN与DAS区别:
项目
DAS
SAN
支持的协议
SCSI协议
FC协议、ISCSI协议
适合场景
对存储容量要求不高、服务器数量很少的中小型局域网
关键数据库、集中存储、海量存储、备份、容灾等中高端存储应用环境
特点
部署简单、投资少
高可用性、高性能、高扩展性、兼容性、集中管理
缺点
可扩展性差、资源浪费、不易管理、性能瓶颈
投资相对较高
FC-SAN存储:
FC协议介绍:
FC(Fibre Channel)协议简介:
FC是由美国标准化委员会(ANSI)的X3T11小组于1988年提出的高速串行传输总线,解决了并行总线SCSI遇到的技术瓶颈,并在同一大的协议平台框架下可以映射更多FC-4上层协议,最早是用来提高硬盘协议的传输带宽,侧重于数据的快速、高效、可靠传输。
FC协议其实并不能翻译成光纤协议,只是FC协议普遍采用光纤作为传输线缆而不是铜缆,因此很多人把FC称为光纤通道协议。在逻辑上,我们可以将FC看作是一种用于构造高性能信息传输的、双向的、点对点的串行数据通道。在物理上,FC是一到多对应的点对点的互连链路,每条链路终结于一个端口或转发器。FC的链路介质可以是光纤、双绞线或同轴电缆。
FC拓扑结构:
图:FC拓扑结构
各种拓扑的对比:
协议栈:
图:FC协议栈
FC光纤通道拥有自己的协议层,它们是:
1.FC-0:连接物理介质的界面、电缆等;定义编码和解码的标准。
2.FC-1:传输协议层或数据链接层,编码或解码信号。
3.FC-2:网络层,光纤通道的核心, 定义了帧、流控制、和服务质量等。
4.FC-3:定义了常用服务,如数据加密和压缩。
5.FC-4:协议映射层,定义了光纤通道和上层应用之间的接口,上层应用比如:串行SCSI 协 议,HBA卡的驱动提供了FC-4 的接口函数。FC-4 支持多协议,如:FCP-SCSI,FC-IP,FC-VI。
光纤通道的主要部分实际上是FC-2。其中从FC-0到FC-2被称为FC-PH,也就是“物理层”。光纤通道主要通过FC-2来进行传输,因此,光纤通道也常被成为“二层协议”或者“类以太网协议”。
FC-SAN系统组成:
图:FC-SAN系统组成
存储设备:
存储设备上的FC接口模块提供了应用服务器与存储系统的业务接口,用于接收应用服务器发出的数据交换命令。
光纤交换机:
光纤通道交换机在逻辑上是SAN的核心,它连接着主机和存储设备。
光纤交换机的主要功能如下:
自配置端口、环路设备支持、交换机级联、自适应速度检测、可配置的缓冲、分区(基于物理端口和基于WWN的分区)、IP over Fiber Channel(IPFC)广播、远程登录、Web管理、简单网络管理协议(SNMP)以及SCSI接口独立设备服务(SES)等。
Zone概念:
1.Zone是可进行互通的端口或设备的名称构成的集合
2.在一个zone里的设备只能与同一个zone中的其他设备通信
3.一个设备可以同时在多个zone里
图:光纤交换机–zone
光模块:
1.光通道交换机光模块由光电子器件、功能电路和光接口等组成。光电子器件包括发射和接收两部分。
2.按照速率分:以太网应用的100Base(百兆)、1000Base(千兆)、10GE SDH应用的155M、622M、2.5G、10G
3.按照封装分:1×9、SFF、SFP、GBIC、XENPAK、XFP
4.按照光纤的类型分:单模光纤连接器、多模光纤连接器
5.按照光纤连接器的连接头形式分:FC,SC,ST,LC,MU,MTRJ 等等
6.目前常用的有FC,SC,ST,LC。
图:光模块
FC HBA卡:
1.HBA(Host Bus Adapter):
主机总线适配器,就是连接主机I/O总线和计算机内存系统的I/O适配器。
2.分类:
FC HBA、SCSI HBA、SAS HBA、iSCSI HBA等。
3.用途:
用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯
WWNN(World Wide Node Name)全球唯一节点名字
WWPN(World Wide Port Name)全球惟一端口名字
IP-SAN存储
IP-SAN基础:
1.什么是IP-SAN:
以TCP/IP协议为底层传输协议,采用以太网作为承载介质构建起来的存储区域网络架构。
2.实现IP-SAN的典型协议是iSCSI,它定义了SCSI指令集在IP中传输的封装方式。
图:IP-SAN架构
IP-SAN优点:
1.接入标准化
不需要专用的HBA卡和光纤交换机,普通的以太网卡和以太网交换机就可以存储和服务器的连接。
2.传输距离远
理论上IP网络可达的地方就可以使用IP SAN,而IP网络是目前地球上应用最为广泛的网络。
3.可维护性好
广大的具备IP网络技术的维护人员和强大的IP网络维护工具支撑。
4.带宽扩展方便
随着10Gb以太网的迅速发展,IP SAN单端口带宽扩展到10Gb已经是发展的必然。
IP-SAN面临的挑战:
1.数据安全性
数据在传输过程的安全性和在存储设备中的安全性是IP SAN存储面临的严峻问题。
2.TCP负载
TCP为了完成数据的排序工作需要占用较多的主机CPU资源导致用户业务处理延迟的增加
3.块数据传输。
IP协议比较适合传输大量的小块消息,对大块数据的传输的效率还有待提高。
FC-SAN与IP-SAN比较:
IP-SAN的组件:
图:IP-SAN的组件
iSCSI连接方式:
IP-SAN根据主机与存储的连接方式不同,可以分为三种:
以太网卡+Initiator软件实现方式
TOE网卡+Initiator软件实现方式
iSCSI HBA卡连接方式
iSCSI协议:
iSCSI(Internet SCSI)把SCSI命令和块状数据封装在TCP中在IP网络中传输,基本出发点是利用成熟的IP网络技术来实现和延伸SAN。
图:iSCSI协议
iSCSI体系结构:
iSCSI节点将SCSI指令和数据封装成iSCSI包,然后该数据封装被传送给TCP/IP层,再由TCP/IP协议将iSCSI包封装成IP协议数据以适合在网络中传输。
iSCSI的发起端与目标端:
1.发起端(Initiator)
SCSI层负责生成CDB(命令描述符块),将CDB传给iSCSI
iSCSI层负责生成iSCSI PDU(协议数据单元),并通过IP网络将PDU发给target
2.目标器(Target)
iSCSI层收到PDU,将CDB传给SCSI层
SCSI层负责解释CDB的意义,必要时发送响应
图:iSCSI传输示意图
iSCSI数据包封装模型:
所有的SCSI命令都被封装成iSCSI协议数据单元,iSCSI利用TCP/IP协议栈中传输层的TCP协议为连接提供可靠的传输机制。
图:iSCSI报文格式
FC-SAN与IP-SAN融合
FC协议与TCP协议融合:
目前FC与TCP/IP协议的真正融合主要有两种趋势:
1.TCP/IP网络承载FC信道
FCIP
iFCP
FCOE
2.以FC信道承载TCP/IP数据
IPFC
从现有的情况来看,以太网技术和FC技术都在飞速发展IP-SAN和FC-SAN会在很长的一段时间内都将是并存且互为补充的。
FCoE协议:
1.FCoE(Fibre Channel over Ethernet)以太网光纤通道:FCoE允许在一根通信线缆上传输LAN和FC SAN通信,融合网络可以支持LAN和SAN数据类型,减少数据中心设备和线缆数量,同时降低供电和制冷负载,收敛成一个统一的网络后,需要支持的点也跟着减少了,有助于降低管理负担。
2.FCoE把FC帧封装在以太网帧中,允许LAN和SAN的业务流量在同一个以太网中传送。
FCoE协议的封装:
FCoE是把FC-2层以上的内容封装到以太网报文中进行承载。
图:FCoE协议的封装
FCoE–CEE:
基于优先级的流量控制(PFC)+ 增强的传输选择(ETS) + 拥塞报告
1.FCoE采用增强型以太网作为物理网络传输架构,能够提供标准的光纤通道有效内容载荷。
2.融合增强型以太网(CEE)可以避免类似TCP/IP协议的开销和数据包损失。
北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4K视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。
大型真人秀后期非编网部分成功案例:
深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房
欲了解详情,欢迎咨询
魏 明
-------------------------------
电话: 18611689687(同微信号)
Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋