最新句子

国内首个多主架构方案发布:数据库产业生态的一次开放式升维

  • 浏览:28
  • 来源:最新句子

原标题:国内首个多主架构方案发布:数据库产业生态的一次开放式升维

文 | 智能相对论

作者 | 叶远风

作为数字化变革最仰仗的基础设施之一,数据库的建设已经成为当下的热点。

长期以来,通过数据库的自主创新来保证数据基础设施的安全可控,一直是业界以及众多行业客户的普遍愿望。

但是,这一进程很难说足够快、足够达到普遍预期。

毕竟,底层基础软硬件技术的硬骨头,从来不是那么好啃的。

好消息是,在一些玩家的努力下,某种程度上的里程碑式成果终于出现。

最近,华为存储与万里数据库共同发布“存算分离&多主架构联合创新方案”(以下简称联合方案),采用GreatDB数据库+华为参天引擎+华为闪存存储,该方案成为国内首个多主架构数据库解决方案。

攻克多主架构难题,毫无疑问成为我国数据库技术创新上的巨大进步。

但更应该看到的,还有这种创新背后的数据库产业生态的改变,以及它能够给行业、给客户群体带来的未来价值。

数据库替代,只有实力才能为理想买单

用自主创新的产品替代Oracle这样的经典数据库,已经成为一种行业理想。

事实上,在国外,由于Oracle的授权和服务费比替代它的数据库平均贵出30%~50%以上,处于节约成本目的,很多企业也在加速对Oracle的替代。

但替代这件事,国内企业尤其是互联网科技巨头们喊了很多年也实践了很多年,雷声很大也在努力下雨,在技术能力上始终没有达到Oracle相关水准。

典型地,Oracle的多节点同时读写数据能力让数据库整体性能表现十分优异,在国内,这方面的创新一直是各企业努力的方向,但始终没有实质的突破。其结果,是虽然舆论上数据库自主创新很火热,但真正到了金融业等产业场景中,国产方案的渗透率增长仍然十分缓慢。

理想浪漫,现实蹒跚。

国内每一个数据库从业者,都在渴望一个在硬实力上能站出来与Oracle掰手腕的玩家。

症结在于,已经取得长足进步的国内数据库方案,由于多采用基于服务器本地盘的存算一体架构,“一个节点读、其他节点看戏”,其架构与多节点同时读取数据的能力需求背道而驰,很难实现多节点同时读取能力的对齐,尤其在大表性能方面,可靠性、性能和效率等方面无法满足核心系统要求。

在架构层面,国内数据库方案就存在天然的“基因缺陷”。

这时候,替代原本主从架构的多主架构,就成为国内众多企业尝试的方向。

比如,某很早就提出去IOE的互联网大厂,投入了大量精力进行多主架构的创新,但其结果并不尽如人意。

而万里数据库和华为存储的强强联手,就是基于存算分离架构,实现了国内首个多主架构数据库方案的创新。

在多主架构下,单主架构数据库的性能瓶颈被突破,多副本、跨表操作等影响性能的障碍被逐步消除,且基于高可用的存储能力,客户企业不用再面对可靠性弱的、以服务器为底层的做法,也可避免因异步复制导致的的数据丢失。

通过数据库跨节点缓存池化技术,这套联合方案做到了全局表并发读写、事务并发处理能力,真正实现了数据库多读多写,修正国内数据库在架构上的“基因缺陷”。

而国内数据库也第一次基于实力有了与Oracle对话的权利。

降本增效+平滑过度,“不折腾”才是好的数据库方案

从客户企业来看,任何的技术创新首先要满足业务需要,满足企业内部发展要求。

以金融业为例,目前其数据库更新需求大约占到了整个市场的20%,是数据库行业突破的重中之重。

但是,金融企业的数据变革,从来不是为了替代而替代,它仍然遵循“数字化变革”的大逻辑,即需要在降低成本、提升性能和可靠性、强化扩展性、支撑业务创新等方面有充足的理由。

虽然联合方案实现了技术突破,但要想市场买账,还需要从客户角度提供应有的价值。

目前,在性能上,联合方案由于完全激发了所有节点算力,消除了副本间同步带来的性能损耗,其相对于过去的主备数据库和分片数据库,性能最高可提升10倍。

而在可靠性方面,存算分离架构下,以华为OceanStor闪存存储为共享数据底座,再加上多主架构中单节点故障则另一节点快速接管业务的优势,联合方案可实现节点故障RTO<60秒。

此外,高可靠外置存储和成熟容灾能力,使得多读多写下即使节点故障,数据也不会丢失,满足金融业等客户的严苛需求。

在成本方面,高性能、高可靠性的同时,由于多主架构的大表处理能力大幅提升,不需要进行分库分表和业务改造,且数据单副本的做法大幅度提升了存储资源利用率(存储空间、耗电量、网络传输等),客户企业将节约大量的数据库升级和运营的成本。

可以说,降本增效上,联合方案也已经有了充分的替代理由。

而更进一步看,在金融业等领域,随着数据库迁移的深入,客户企业将更多开始考虑迁移工作的章法,“高速行驶中更换轮胎”,对平滑过度有着越来越高的要求。

除了前文提到的无须分库分表和业务改造,联合方案本身还高度兼容MySQL/Oracle等主流数据库语法,并兼容国内外主流的基础软、硬件,这使得客户企业几乎不用改变过去使用Oracle等数据库的习惯,能够快速、平滑地实现数据库改造升级。

好用又“不折腾”,这样的方案,很难不被认可。

这些特性的背后,是华为底层存储技术能力与伙伴解决方案能力的有效整合。

在数据库方面,万里GreatDB数据库原本就具备较强的性能与安全性能力,这次联合创新还进行了安全增强、执行计划与性能增强、可观测性与性能分析增强、数据可靠性增强等强化动作。

在底层存储方面,联合方案采用的华为OceanStor闪存存储,可以达到2100W IOPS的闪存性能释放,基于华为自主研发的SmartMatrix全互联架构,能容忍控制器八坏七、硬盘三盘同时失效、硬盘整框失效等情况,数据可靠性从传统服务器本地盘的99.99%提升至99.9999%。

在存储与数据库之间,华为参天引擎成为多主架构实现的关键力量,推动多读多写性能提升10倍、多副本归一、TB级大表性能优化、快速故障切换、存储级容灾等特性的实现。

有专业的存储,有优质的数据库产品,有将它们连接起来的引擎,联合方案才能让多主架构以高可靠、高性能、底成本的方式成功实现。

“全栈”≠“全栈封闭”,开放生态才是数据库产业的大未来

回过头来看,Oracle之所以能够做到多节点同时读写数据能力,与其开放姿态有密切的关系。

Oracle的底层,往往接入的是戴尔EMC这样的存储厂商的专业存储——Oracle只做存储管理,下边的存储是谁,它并不限制。

换句话说,Oracle虽然强,但从来没有想过吃独食,而是充分利用了优质伙伴厂商的能力。Oracle的成功不是一家企业的成功,而是整个市场不同数据库关联主体相互合同的产物。

从这个意义上看,华为存储与万里数据库的合作,在国内数据库产业发展上还有更深的生态意义。

在过去,国内很多所谓大厂动辄宣扬“全栈”,数据库接入的对象是服务器而不是存储层,要把从底层到应用层的商业机会都吃下去。这与大厂们在互联网狂奔突袭中早已经习惯了用大规模、大体量的方式收割市场的习惯有关,要“赢家通吃”。大厂之间相互有壁垒,生态玩法也以站队为主,很难谈得上开放。

但在数据库这里,这个方式已经行不通。

“全栈”的本质成为“全栈封闭”,多主架构需要存储与数据库协同配合的创新很难被真正实现,开放已经是必然选择。

另外一边,国内的数据库市场也迫切需要开放。

根据信通院的统计,2022年国内规模上千人的数据库企业仅有3家,数据库企业从业技术人员不足2万人,而对比来看,仅Oracle一家就有数万名工程师。

不但整体规模不大,也十分分散,生存和有限的发展就成为很多中小厂商现阶段的主要任务,也就几乎不可能出现“单挑”Oracle的厂商。

联合方案出现,表明中国数据库的产业链主体正在紧密合作,以新的开放姿态促进国内数据库产业的振兴,从而推动国内数据库大规模产业落地,并最终走出国门。

万里数据库正与华为存储在技术、市场、生态、产业等维度的连接与协同,数据库和存储方面的优势资源被充分融合,实现1+1>2,将最终更好地服务客户。

值得一提的是,通过产业链的开放合作,中小厂商还能克服定制化(往往是数据库客户需要的)能力不足的难题——行业开放合作,不仅能让更多中小厂商活下去,还能藉由产业整体的力量,推出更多先进的方案服务客户,例如数据库行业那些离散的力量可以借势存储前沿技术能力实现产品与方案的突破。

游戏规则的改变,才能让中国数据库产业真正有资格与Oracle等掰手腕。

当然,这种产业生态的开放合作,并非一蹴而就,它离不开生态参与者过去长期的技术积累。

例如,华为存储技术已经在国内、国际上实现领先,但其重点着力于存算分离架构,本质上反应出其对开放的产业生态的追求,一开始就愿意和产业生态伙伴一起做大蛋糕,只不过现在随着技术创新突破,迎来了最佳的契机。

结语

在数据库业界有一些奇特的现象,比如有些需求不会向Oracle提,但却总是要找国产数据库的“麻烦”;数据库连接中断明明有日志文件“自证清白”,但客户仍然要厂商去仔细排查问题……

尤其在金融领域,这一类的现象更为普遍。

这些,根本上反应了国产数据库所面临的“信任”问题——在外在形象方面,一是能力不够强,二是小问题太多,怎么放心交给你?

现在,开放的产业生态所融合的优质技术力量,呈现出满足需求的产品和方案,通过长期的打磨与运用,将最终解决这个问题。

在这个过程中,即便是多主架构、联合方案这种实现能力突破的创新,在场景适配的成熟度、解决方案的丰富度以及工具生态的完备度上进行工程化打磨仍然必不可少,应对“慢满夯宕错”的基本功必须更加扎实。

开放的产业生态下,实际上参与者相较过去需要投入更多的资源,才能对客户负责、对场景负责、对伙伴负责,最终实现国产自主替代的目标。

2022年,Oracle研发总计投入了72.2亿美元,来完善细节、打磨产品。

2023年起,在新的开放生态建设努力下,在多主架构突破下,国内数据库行业已经有了底气,但也必须进一步增加创新投入、奋起直追了。

相关推荐