异构数据迁移技术的突破,啃下数据迁移这块“硬骨头”

发布时间:2020-08-21 | 信息来源: | 发布作者:


当前,是信息量爆发式增长的时代,为了构建智慧和平安城市,需要大量的存储设备用于保存各种信息和数据,各企事业单位和金融机构业务不断发展,每年的数据量呈几何级数增长,数据已经或者正在逐渐成为其核心资产。

数据量的爆发式增长对存储的容量和性能都有了新的要求,然而旧的存储设备受容量、性能和运行环境等限制,已无法满足业务系统发展的需要,如何快速、有效、平稳地将旧存储上的异构数据迁移至高性能的新存储,是每个数据中心都会遇到的难题。

根据业界对异构数据迁移行为的深入分析后发现,有接近40%的异构数据迁移需求源自于用户对IT系统中服务器或存储阵列设备的更新升级,超过15%的异构数据迁移需求源自于用户不得不对长时间超负荷运营的IT设备进行维护操作;

与此相当的是,也有超过15%的用户为了应对业务激增带来的性能压力,必须对IT系统进行性能调优,从而导致异构数据迁移行为的发生。

此外,还有接近20%的用户因为机房变更或是设备租赁到期,也不得不对原有数据进行迁移。由此可见,导致异构数据迁移的原因多种多样,异构数据迁移的行为无法避免。

据Gartner的统计数据表明,95%的受访用户认为异构数据迁移是个“硬骨头”,让人头痛却又不得不面对。在传统异构数据迁移的过程中,有接近60%的用户经历过业务下线时间超过计划和预期的情况,有超过50%的用户在实施异构数据迁移的过程中,将面临技术升级或是架构革新所带来的兼容性风险,而在架构升级之后,性能不升反降、数据受损、数据丢失等,如梦魇一般,也时刻困扰着实施异构数据迁移的用户。

随着公司产品的陆续上线,如何在不影响业务运行的前提下将旧存储的数据快速、平稳、有效地迁移至新存储,是客户和我们共同应对的重要工作。

面临的挑战

● 存储产品作为承载核心业务的关键设备,其性能、可靠性、可用性和易管理性的要求极高。

● 环境复杂,需要进行异构数据迁移的存储有EMC、HDS和NetApp等多个品牌,每个品牌包括多个型号的存储,涉及到的操作系统有AIX、Linux、Windows Server、VMWare ESXi和Windows Hyper-V,数据库有Oracle RAC、SQL Server、MySQL。

● 必须使用存储底层异构数据迁移技术,异构数据迁移时业务系统在线或中断时间尽可能短。

● 异构数据迁移带宽要求高,多链路并发异构数据迁移,在保证异构数据迁移速率的同时,不能影响源阵列和目标阵列上其它业务系统数据的访问性能,对迁移业务系统的性能影响也不能超过50%。

● 迁移业务系统多,共数十套系统,异构数据迁移量大,达到PB级数据量。

异构数据迁移技术介绍

异构数据迁移是一个非常复杂和细致的过程,它要求设计与实施人员具备多元化的知识结构,否则将陷入顾此失彼的境地。一个完整和成功的异构存储异构数据迁移解决方案包含以下六个部分:

异构数据迁移有较多的技术及手段,可以通过操作系统命令和工具实现,也可以通过应用软件本身来完成,还可以通过目标存储的异构数据迁移工具来达成。根据系统环境和应用的重要级别可选择应用在线、离线或最小中断(异构数据迁移前需要短暂中断应用,异构数据迁移时应用在线)三种异构数据迁移方式,以下根据不同的异构数据迁移需求对各种迁移技术及涉及到的命令和工具做了概要性介绍和对比分析。

》磁盘或文件系统异构数据迁移技术对比

》数据库异构数据迁移技术对比

》VMware虚拟机异构数据迁移技术对比

Online Import Utility

存储异构数据迁移

Online Import Utility是基于存储的异构数据迁移软件,将CF存储通过SAN网络与现有的存储相连,通过安装在一台PC服务器上的OIU工具界面即可完成现有存储到CF存储的异构数据迁移。

根据Online Import Support Matrix文档,符合条件的源存储可以通过在线、最小中断(MDM)和离线三种方式实现存储层面的异构数据迁移。

根据客户实际环境及需求的不同,通过OIU工具有三种迁移方式:

在线迁移

整个异构数据迁移过程主机和应用完全在线,数据复制过程主机IO不发生中断。

最小中断迁移

启动异构数据迁移之前主机需要进行一次重启,数据复制过程开始以后主机IO不发生中断。

离线迁移

异构数据迁移的全过程均需要停止主机IO,并删除现有磁盘与主机之间的映射关系,迁移完成后重新映射后主机上的应用才能启动。




转载于公众号:新华三服务,侵删




沃趣科技,让客户用上更好的数据库技术!