中国信通院周彩红等:面向算存运一体的数据中心存力发展研究
数据作为数字经济时代最核心、最具价值的生产要素,其高速发展使其成为全球最为重要的经济发展引擎之一。数据显著改变了当代社会的生产、生活模式,因此,对数据价值的研究受到诸多关注,如何使数据“存得下、流得动、用得好”亟需破局。在算网融合背景下,已有诸多针对算力网络的研究,如云、边、端及其之间的最优化分配与调度,以及存储资源网络资源在算力网络中的应用等。算力网络本质上是一种算力资源服务,即根据计算任务的时间和业务类型需求将包含计算、存储和网络在内的算力资源灵活调度到合适的地方。目前,产业界在算力网络方面已进行了多项探索。在运营商方面,中国联合网络通信有限公司网络技术研究院与华为技术有限公司联合发布《中国联通算力网络白皮书》,分析了算力网络的概念、架构、标准和产业生态;中国移动通信集团有限公司与华为技术有限公司联合发布了《算力感知网络技术白皮书》,对算力感知网络分布式系统模式进行了系统阐述;中国电信集团有限公司发布的《云网融合2030技术白皮书》提出需明确算力网络作为在云网一体阶段的关键地位。在标准化方面,中国通信学会、中国通信标准化协会、网络5.0产业和技术创新联盟等组织和产业联盟已启动了算力网络相关标准的制定,在技术、协议、管理和度量方面都有很多成果。在学术研究方面,《面向计算网络融合的下一代网络架构》《面向6G需求的算力网络技术》《基于计算、存储、传送资源融合化的新型网络虚拟化架构》等也针对业务需求多样特征提出了算力资源泛在化、网络服务智能化发展的技术趋势。
通过对算网融合的研究,业界逐渐发现只有深度整合计算、存储、网络和软件资源,加快数据共享和融合,才能更好地支撑计算,进而充分挖掘数据价值。算存运一体是指算力、存力和运力的一体化协同发展。为充分释放数据要素价值,支撑数字业务计算处理需求,需推进算存运一体化协同发展。为推动我国数据产业链的采集、存储、传输、交易和服务各环节高效可靠发展,笔者对我国数据中心存力情况进行了分析,并结合实际情况提出了如何增强数据中心存力水平,保证数据中心高效运行的建议。
政策分析
在政策层面,世界主要国家和地区为保障数据存储产业的蓬勃发展,打造数字经济供给侧的竞争力,更好地服务经济、社会,出台了各项政策。如表1所示,近年来世界主要国家和地区积极发布政策推动以半导体为代表的新材料技术发展。固态硬盘是半导体存储产品的重要形态,世界主要国家和地区均通过政策鼓励大力推动半导体产业发展。2021年,美国先后发布《美国就业计划》《无尽前沿法案》,投入上千亿美元支持和发展包括半导体、先进计算、先进计算机软硬件、数据存储、数据管理等在内的关键技术与未来产业。除了政策支持外,美国的行业协会也积极通过商业形式加强了存储产品的测试和认证,如美国存储性能委员会推出了存储设备测试规范。
2021年6月,日本发布了《半导体数字产业战略》以扩大国内半导体生产能力,针对半导体、数字基础设施、数字产业做了全面系统的部署。2021年年底,日本发布《半导体产业紧急强化方案》,吸引厂商新建半导体工厂,同时为老旧半导体厂房设备提供资金支持,致力于提高日本半导体企业的营收。
1994年,韩国推出了《半导体芯片保护法》,此后又通过各项计划诸如“21世纪智慧韩国工程”(Brain Korea 21 Program for Leading Universities & Students,BK21)及“21世纪智慧韩国工程后续项目”(Brain Korea 21 Program for Leading Universities & Students Plus,BK21+)等对相关科研院所及专业进行了精准、专项支援,并在2016年积极推出了“半导体希望基金”,以半导体相关企业为载体,力求推进存储方面新技术的开发与突破。2021年5月,韩国政府正式公布“K-半导体战略”,计划构建集半导体设计、原材料、零部件、尖端设备等在内的生产体系,旨在推动全球半导体供应链加速发展。
欧洲以法国电信、施耐德,德国思爱普为代表的企业积极投资数据存储与管理产业,重点发展大数据通信及其他公共服务、大数据的数据中心绿色节能应用、实时数据计算等方向。
我国也为存储行业的健康发展出台了一系列政策,诸如《“十四五”信息通信行业发展规划》《全国一体化大数据中心协同创新体系算力枢纽实施方案》《新型数据中心发展三年行动计划(2021—2023年)》等,旨在强化数据中心、云算力的统筹和数据资源的流通治理。
工业互联网、人工智能等新兴技术带来了海量数据,相关业务的可靠稳定应用离不开数据存储,经济、社会运作中产生的各类数据与物理世界完成交互后,最终处理的结果又会回到数据存储处进行保存,数据处理结果将进一步助力模型、算法的精确性和可用性提升,从而服务数据分析。
数据量暴增、业务场景呈多样化等使数据存储面临一定挑战,为应对数据存储挑战,可选择不同类型的数据存储设备。现代数据存储根据存储介质的不同,主要分为光学存储(CD、DVD、蓝光存储)、磁性存储(磁带、软盘、机械硬盘)和半导体存储三类。光学存储设备拥有长寿命、安全可靠和低成本等优点,主要适用于冷数据存储,适合归档类数据的长期备份使用,但光学存储技术在存储容量、存储密度及存取速率等方面都受限制,且存储的信息极易受摩擦等外部作用而损坏。磁性存储接受度较高,主要用来对关键数据做备份归档以及冷数据的长期保存。其中存储软盘存取速度慢,容量较小,但可装可卸、携带方便,适用于需要被物理移动的小文件。机械硬盘以其较低的价格以及更高的存储容量占据了一定市场份额,但存在存储时间不长、能耗高、存储密度不大等问题。近年来,以半导体为代表的新一代全闪存技术飞速发展,半导体闪存是新一代存储介质,由于具有断电不丢失数据、高性能快速读取、大容量、绿色节能等特点,被各行各业的信息系统大量应用,已逐步成为存储产业的主要媒介。在全球半导体市场中,存储器占据了约1/3的规模,是半导体最大的细分市场之一,正在成为业界主流的存储器。
以美国企业为代表的一批企业凭借传统计算机与互联网技术优势以及软硬件核心技术基础占据了存储产业链前端,通过并购、整合、吸收,先后推出各种数据存储软硬件服务,在全球数据存储的市场份额中,美国企业处于垄断地位。目前,我国已有部分企业也占据了一定市场份额。Gartner在2021年发布了存储相关的魔力象限报告,华为技术有限公司进入了主存储的领导者象限;2022年,在Gartner公布的全球主存储魔力象限报告中,浪潮软件科技有限公司存储位居挑战者象限,其愿景前瞻性和执行能力稳步提升。
区域数据中心存力水平与经济发展水平紧密相关,经济规模越大,数据资源就会越丰富,对数据存储的需求量也越大。我国东部地区经济相对发达,数字经济规模较大,根据《中国综合算力指数(2022年)》,东部地区数据存力规模相对较高,也是全国数据中心建设和运营的主要区域,因此东部地区数据中心存力水平相对较高[3]。其中北京、上海、广东及周边地区数据计算需求较多,尤其是对时效性要求较高的热数据处理,在数据计算和存储时追求卓越的存取和读写速度,对数据存力水平提出了挑战,故需求驱动了这些地区的数据存力技术创新和水平提升。
在数据存储容量方面,数据存储总体容量集中度高。产生数据的地区较集中,对数据处理需求高的地区占据了全国大多数存储容量,根据《中国存力白皮书(2022年)》,仅广东、江苏、上海、北京、河北、浙江、贵州7个省市的总体数据存储容量就超过了全国总容量的一半;北京、上海、广州3个城市的总体数据存储容量就占了总容量的30%。
在单机架存力方面,全国各区域单机架存力水平相差较大,虽然大多数地区的单机架存力为120 TB~180 TB,部分地区如广西和西藏,单机架存力仅为100 TB,而广东、北京、浙江和江苏的单机架存力则超过150 TB。实施“东数西算”工程可加快推动数据中心向西大规模布局,率先转移后台加工、离线分析、存储备份等对网络要求不高的业务,预计八大枢纽节点数据存力将继续扩大规模。为提高数据中心标准机架的效率,为算力提供更好的数据支撑,未来需更加关注数据中心单机架的数据存储容量。
2022年,全国各地区的数据存储容量排名顺序基本不变,受元宇宙、ChatGPT等新兴技术的发展,各地区存储容量稳步增长。同时,受“东数西算”工程影响,我国各大一线城市纷纷在西部地区部署数据存储应用,推动了当地数字经济以及信息化产业的发展,如贵州、新疆、内蒙古、甘肃和陕西等。这些大数据产业蓬勃发展的地区,充分发挥本地大数据资源价值,促进数据中心产业迅速发展。受政策牵引和自身资源禀赋的影响,这些地区数据存力水平将不断提高,但同时也不能忽视部分中西部地区网络带宽小、跨省数据传输费用高、算力需求有限等情况。
对创新能力的分析主要是通过对存储专利数量进行分析。截至2022年,笔者通过在Inspiro知识产权数据库检索关键词“存储”发现,我国东部地区最具创新活力,其中广东在存储专利申请数量上位列第一,北京、上海、江苏等地次之,湖北、山东和四川等地依托于当地存储企业优势,也在存储专利申请上有一定优势。
《中华人民共和国数据安全法》已经发布并施行,保护数据安全成为数据存储发展的关键,可靠数据中心存力的建设将会加速,以应对数据安全风险和数字经济时代的挑战。数据中心行业普遍存在“有备份、无容灾”“缺乏异地灾备”的现象。金融、电信运营商等行业灾备应用程度高,灾备体系建设相对完善,金融行业数据备份建设比例达到约92%,但其异地备份的比例仅约10%,业务系统容灾比例不到40%,异地容灾的比例低于30%。
为保证数据存储安全,云存储方式通过将存储设备和应用软件相结合成为数据存储的发展趋势之一,实现由设备到服务的科技升级,提供灵活的弹性伸缩、弹性存储容量、安全可靠、高可用等能力。随着云计算服务模式的不断发展,其成本高、容量需求大、宽带需求高的问题也亟需解决,在这种背景下,云存储的出现则完美解决了这一问题,不仅突破了传统存储区域网络(Storage Area Network,SAN)的性能问题,而且实现了性能与容量的线性扩展。云存储具有容易扩容、更易于管理、成本更低廉、数据更安全、服务不中断等高效集群优势,但还存在一些瓶颈需攻关突破,如云存储系统安全性、便携性及数据访问等。
绿色低碳始终是数据存储设备需要关注的问题。在介质层面,介质节能是利用半导体存储代替磁介质存储,硅进磁退方式节约能耗。当前已经逐渐从混合硬盘的磁盘介质演进到固态硬盘的半导体存储介质。在架构层面,存算分离架构结合数据高密存储及纠删码技术,也减少了同等容量下存储的能源消耗。在算法层面,数据重删压缩技术可使相同空间存储更多的数据从而实现节能,并能够实现桌面云、虚拟机、数据库等业务场景2~3.6倍的数据缩减率,耗能大幅度节约。
数据存储是发展数字经济的重要一环。我国数据存储产业起步较晚,大多数企业的优势主要体现在硬件设备和系统软件上。此外,承载数据的关键数据基础设施如存储器、数据网络等还在可靠性、安全性、可持续供应性等方面存在问题。
为推动数据中心存力高质量发展,首先要提高对存储关键性的重视程度。尽快研究形成数据存储产业发展的系列政策、办法,提升我国在数据存储领域的竞争力,具体建议包括以下几方面。
在技术方面,一是加快部署下一代数据存储技术,推动数据存储核心技术底层研发和技术攻关,提升存储介质、安全设计、数据防护、安全评测等关键技术水平,打造全球存储的创新高地;二是进一步打造科学的人才培养体系,多层次、多领域、全方位地发掘人才、培养人才,着重培养兼具专业理论与行业知识的复合型人才,鼓励地方政府引导企业完善人才激励机制,引进和留住高端存储专业人才,优化人才布局;三是要集中资源完成科技攻关,推动科研成果转化为实用型产品,不断推进并深化生产单位和科研院所联合攻关,从实际出发解决科学问题;四是发挥我国制度优势,集中力量解决产业核心问题,不断加大资金投入以助力技术攻关,同时细化用户类型,开发差异化产品,满足不同受众需求以从容应对不同场景。
在标准方面,我国应尽快建立数据存储行业规范和标准,完善数据存储、数据保护、安全评测、数据灾备等关键标准体系。一方面,鼓励国内相关企业及研究机构进行标准和评估体系研究,鼓励行业龙头企业通过硬件开放、软件开源、使能伙伴等策略,给予其他合作伙伴尤其是创新型小微企业充分的政策支持与资源倾斜,群策群力,共同完成半导体存储行业标准的制定;另一方面,持续加强数据存储产业国际交流与合作,加强与国际标准组织的合作,加速我国技术标准的国际化进程。
在产业方面,一是构建先进的存储应用生态,促进数据存储产业相关供应商融合;二是提升产业链安全保障能力,构建产业集群梯次化发展体系;三是针对金融、医疗、教育等重点行业,打造示范应用项目,如在安全可靠性方面,政府示范先行,推动政务云、国家一体化大数据中心、行业大数据中心、智慧城市等场景的灾备体系建设,在全国范围内重点打造一批数据灾备的示范基地、示范项目,实现标准和政策落地,引领千行百业,迅速化解数据安全风险。
结束语
通过对我国数据中心存力发展的研究,可以发现,数据中心存力水平与经济发展水平紧密相关,总体而言,经济规模越大,数据中心存力水平越高;我国的数据存储总体容量集中度高,对数据处理需求高的地区占据了全国大多数存储容量,其他地区的存储容量还有较大提升空间。为提高数据中心标准机架的效率,未来需更加关注数据中心单机架的存储容量,确保数据“算得快、存得好、传得稳”。
Ongwu博客 版权声明:以上内容未经允许不得转载!授权事宜或对内容有异议或投诉,请联系站长,将尽快回复您,谢谢合作!