与会 3306π 青云QingCloud MaterializeMySQL 引擎让海量数据发挥更大价值

3 月 20 日,青云QingCloud 受邀参加 3306π 成都站活动。青云QingCloud 数据库研发工程师邰翀带来《MaterializeMySQL:MySQL 到 ClickHouse 的高速公路》的主题演讲,分享了如何打破异构数据库壁垒,同步MySQL数据库中的数据至ClickHouse中,帮助用户在应对海量数据高并发场景时,提升数据分析能力,挖掘数据价值。

青云QingCloud 数据库研发工程师 邰翀

此次活动由 3306π 社区发起,旨在围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案和核心技术理念带到传统行业中,构建良好交流互动环境,分享数据库前沿知识。

在演讲中,邰翀介绍了 MySQL 复制历程,从最早的同构数据库复制,到 2013 年的增强半同步复制,再到 2017 年支持组复制(MGR),实现金融级别可用的数据同步方案。随后,以青云QingCloud 为代表的各大厂商开始研发高可用组件,如 QingCloud MySQL Plus,通过真正的强一致性和高可用能力,来管理 MySQL 选举、探活,并订正数据准确性,从而达到集群数据强一致性、主从秒级切换、无中心化自动选主,以及依托于云的跨区容灾能力。但 MySQL 在有了高可用能力后,虽然可通过增加只读实例的方式来增强 AP 能力,但是其数据结构和分布方式决定了 AP 能力相对较弱。

那么,如何增强 AP 能力呢?答案是:ClickHouse。但ClickHouse  能否主动同步并订阅 MySQL 数据呢?答案是:当然可以。青云QingCloud ClickHouse 团队自主研发的库引擎——MaterializeMySQL 引擎,就很好地解决这一问题。

邰翀阐述道:“MaterializeMySQL 是对 MySQL 库级别的映射,目前已作为实验特性合并到 ClickHouse 20.8 版本中。其通过消费 binlog 存储到 MergeTree 的方式来订阅 MySQL 数据,可以直接将 ClickHouse 作为一个分析实例加入到 MySQL 复制中,替代 MySQL 一部分只读实例进行商务分析、用户画像等分析业务。ClickHouse 本身在支持海量函数来提升分析能力的同时,还支持标准 SQL,可以让使用者享受到更好的体验。”

与其他的 ClickHouse 同步 MySQL 数据的方式相比,MaterializeMySQL 的优势更加明显。邰翀认为,MaterializeMySQL 打通了从 MySQL 到 ClickHouse 的数据传输通路,不仅提供了将 MySQL 数据精细化分析的能力,也为接下来的 HTAP 打下了基础。

随着万物互联的快速发展,数据开始呈现爆炸式增长,这也促使 MySQL 的能力进化加速。青云QingCloud 将继续发挥自主创新的优势,为解决海量数据分析提供先进的技术和产品支持,助力企业在海量数据中深度挖掘数据价值,为数字化转型提供决策支持。