数据流转计算|数随心动,沃趣QMatrix企业多云数据流计算平台!

发布时间:2020-06-01 | 信息来源: | 发布作者:沃趣科技




数据,是流动的,

你信或者不信,他一直就是!


如果能跟踪一条数据的流转轨迹,从产生到最后的沉淀,到底经过了哪些系统,小编君相信这条线会是蜿蜒曲折的。


曾几何,我们的数据架构还非常简洁,多个业务系统共享一套数据库,交易事务和报表分析的界限还不是那么清晰,那时数据共享的效率是最高的,近些年随着互联网大数据,人工智能AI,万物互联各种业务场景的丰富,企业数据已经成几何指数增长,有统计数据指出,人类近10年产生的数据量,远超以前所有数据量的总和。现今,出于性能扩展,安全隔离,容灾备份等各种需求的考虑,数据架构可谓是环肥燕瘦,各有千秋!


小编君在IT圈厮混多年,各种数据架构走马观花,也略有体验,对于数据的流动共享带来的业务价值,感触良多,这里不谈宏观层面的道法儒,单就具体的业务场景,我可以分享下自己的看法。


1 分布式数据库的数据传输

在集中式架构中,数据就地存储,就地分析消费,称得上100%的实时Ad-hoc Query,Oracle RAC结合硬件加速堪称这一架构的典范,在TB数量级的联机分析混合需求上还是可以满足不少用户的,最关键一点,节省了开发成本,让用户可以把精力放在业务实现上。但随着数据规模的增加,为提升系统扩展性和可用性,逐渐采用分布式数据库来承担OLTP业务交易,数据一旦分片到物理主机,集中式查询分析就是个问题,这批数据如何能够快速,实时的传输到分析平台,就成了个硬需求。


2 外围的数据消费升级

前台系统产生的交易数据,需要被多个下游系统消费,比如搜索引擎希望实时的build增量数据,提高准确性,或者缓存系统需要实时加载刷新,提升命中率,也许你可以说应用做紧耦合交数就好了,但现在业务开发的精力在业务,你没法要求他在完成业务逻辑的时候,还记得同步好缓存和搜索,况且紧耦合也是现在不大推崇的架构模式。


3 容灾备份的需求升级

单就数据库这个场景,我们很容易想到Oracle DataGuard,MySQL Master/Slave,PostgreSQL复制,随着分布式架构的引入,你会面临做局部还是做整体的问题,这个变化是很微妙,也很有意思的,例如100台MySQL分布式数据库集群,同城异地做容灾解决方案,用什么?很简单,用Master/Slave,构建100条复制链路,做好自动化运维监控管理工具,处理好数据的延迟告警,不定期切换演练,这确实是实际可行的方案,但这是从D