大数据

Hi, 请登录

业务系统数据同步方式通常有哪些?

网站SEO诊断与整站SEO优化模板,拿去就可以用>>    SEO干货网站内部链接优化与整站优化>>   

数据同步一般是指一个数据源的数据发生改变时,其他相关的数据源的数据也发生相应变化。数据同步可以有五种实现方案,根据具体需求不同,可以采取不同方案。

1. 触发器:在源数据库建立增、删、改触发器,每当源数据库有数据变化,相应触发器就会激活,触发器会将变更的数据保存在一个临时表里。ORCLE 的 同步 CDC (synchronized CDC) 实际上就是使用的触发器

优点:

能做到实时同步

缺点:

降低业务系统性能,ORCLE 的 synchronized CDC 大概降低10% 左右。

影响到业务系统,因为需要在业务系统建立触发器。

2. 日志:通过分析源数据库日志,来获得源数据库中的变化的数据。ORCLE 的 异步 CDC (Asynchronized CDC) 就是使用这种方式。

优点:

基本不影响业务系统,如Oracle Asynchronized CDC 的 HotLog 方式对业务系统的性能大概降低 3% 左右,而 AutoLog 方式对业务系统几乎没有影响。

缺点:

有一定的延时

对于没有提供日志分析接口的数据源,开发的难度比较大。3. 时间戳:在要同步的源表里有时间戳字段wcdma始终同步对数据业务的影响,每当数据发生变化,时间戳会记录发生变化的时间。

优点:

基本不影响业务系统

缺点:

要求源表必须有时间戳这一列。

在删除数据时wcdma始终同步对数据业务的影响,还要做一些特殊处理。

4. 数据比较:通过比较两边数据源数据,来完成数据同步。一般用于实时性要求不高的场景。

优点:

基本不影响业务系统

缺点:

wcdma 数据业务信令_wcdma始终同步对数据业务的影响_wcdma ps业务信令流程

效率低

5. 全表拷贝:定时清空目的数据源,将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大,实时性要求不高的场景。

优点:

基本不影响业务系统

开发、部署都很简单

缺点:

效率低

总结:

1. 上面五种数据同步方式,除了第五种都需要业务表有主键。

2. 对于没有触发器和日志的一些小型数据源,如txt 文本,excel 文件,Aceess,则只能使用后三种方式。

3. 对于大型数据源,一般优先选择日志方式,如 ORCALE Asynchronized CDC, 对于不能通过日志来实现的情况,可以考虑第1,3,4种方式。

来源【大数据】,更多内容/合作请关注「运营见识」公众号,赠文案训练手册电子书。

版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。

相关推荐

评论

  • 昵称 (必填)
  • 邮箱
  • 网址
二维码
评论