• Stars
    star
    157
  • Rank 237,245 (Top 5 %)
  • Language
    Java
  • License
    Apache License 2.0
  • Created almost 4 years ago
  • Updated over 1 year ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

🔥🔥🔥支持插件化、可视化的数据异构框架mykit-data开源啦!支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持查看同步的数据和详细的日志信息。

作者及联系方式

作者:冰河
微信:hacker_binghe
QQ:2711098650
微信公众号: 冰河技术

加群交流

本群的宗旨是给大家提供一个良好的技术学习交流平台,所以杜绝一切广告!由于微信群人满 100 之后无法加入,请扫描下方二维码先添加作者 “冰河” 微信(hacker_binghe),备注:学习加群

冰河微信

公众号

分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。内容在 冰河技术 微信公众号首发,强烈建议大家关注。

公众号:冰河技术

星球

加入星球 冰河技术,可以获得本站点所有学习内容的指导与帮助。如果你遇到不能独立解决的问题,也可以添加冰河的微信:hacker_binghe, 我们一起沟通交流。另外,在星球中不只能学到实用的硬核技术,还能学习实战项目

关注 冰河技术公众号,回复 星球 可以获取入场优惠券。

知识星球:冰河技术

我的新书

冰河整理PDF

关注 冰河技术 微信公众号:

回复 “并发编程” 领取《深入理解高并发编程(第1版)》PDF电子书。

回复 “并发源码” 领取《并发编程核心知识(源码分析篇 第1版)》PDF电子书。

回复 “渗透笔记” 领取《冰河的渗透实战笔记》PDF电子书。

回复 “我要进大厂” 领取《我要进大厂系列之面试圣经(第1版)》PDF电子书。

回复 ”限流“ 领取《亿级流量下的分布式解决方案》PDF电子书。

回复 “设计模式” 领取《深入浅出Java23种设计模式》PDF电子书。

回复 “Java8新特性” 领取 《Java8新特性教程》PDF电子书。

回复 “分布式存储” 领取《跟冰河学习分布式存储技术》 PDF电子书。

回复 “Nginx” 领取《跟冰河学习Nginx技术》PDF电子书。

回复 “互联网工程” 领取《跟冰河学习互联网工程技术》PDF电子书。

项目介绍

支持插件化、可视化的数据异构中间件,支持的数据异构方式如下

MySQL <——> MySQL(增量、全量)
MySQL <——> Oracle(增量、全量)
Oracle <——> MySQL (增量、全量)
Oracle <——> Oracle(增量、全量)

使用步骤

运行系统

下载mykit-data源码。

git clone https://github.com/binghe001/mykit-data

使用Maven编译mykit-data

mvn clean package 

运行程序

java -jar mykit-data-starter-xxx.jar

打开系统连接

http://localhost:8888

配置数据同步

添加MySQL8数据库连接器

添加MySQL5.7数据库连接器

添加Oracle数据库连接器

添加后的效果

配置Oracle全量同步数据到MySQL8

配置字段的映射关系

配置后的效果

配置Oracle增量同步数据到MySQL8

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

配置MySQL8全量同步数据到Oracle

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

配置MySQL8增量同步数据到Oracle

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

配置Oracle全量同步数据到MySQL5.x

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

配置Oracle增量同步数据到MySQL5.x

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

MySQL5.x全量同步数据到Oracle

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

配置MySQL5.x增量同步数据到Oracle

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

最终配置效果

启动任务

同步数据产生的日志

注意事项

以日志形式增量同步MySQL数据到Oracle数据库时,需要开启MySQL的binlog日志。

扫一扫关注微信公众号

你在刷抖音,玩游戏的时候,别人都在这里学习,成长,提升,人与人最大的差距其实就是思维。你可能不信,优秀的人,总是在一起。

扫一扫关注冰河技术微信公众号
微信公众号

More Repositories

1

technology-binghe

主要收录【冰河技术】微信公众号文章,作者为冰河,《海量数据处理与大数据技术实战》、《MySQL技术大全:开发、优化与运维实战》作者。旨在分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。
319
star
2

mykit-delay

🔥🔥🔥Mykit体系中提供的简单、稳定、可扩展的延迟消息队列框架,提供精准的定时任务和延迟队列处理功能
Java
303
star
3

BingheGuide

🔥🔥🔥 📚 本代码库是作者冰河多年从事互联网大厂开发、架构的学习历程技术汇总,旨在为大家提供一个清晰详细的学习教程,侧重点更倾向编写Java核心内容、底层原理、架构知识、渗透技术。如果本仓库能为您提供帮助,请给予支持(关注、点赞、分享)!
Shell
239
star
4

mykit-db-sync

🔥🔥🔥 mykit中分离出的强大的数据库同步工具——mykit-db-sync。 基于java开发的功能强大、配置灵活的数据库同步工具,目前支持MySQL、SQL Server和Oracle数据库的同步,在实际应用场景中,我们经常需要定期将一个数据库的数据同步到另外一个数据库中,常见的一种做法是将源数据库的数据dump为sql文件,然后到目标数据库执行sql文件完成数据库的导入,但是这种方法至少存在以下问题: - 需要手工操作,效率低 - 当涉及数据表较多时,容易遗漏、出错 - 如果要定期同步,操作人容易忘记 - 难以应付频繁变更数据表或者字段 针对以上存在的问题,将珍贵人力从这种重复、无意义的工作中解脱出来,特意开发这个小工具
Java
177
star
5

binghe

分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。
101
star
6

mykit-transaction-message

🔥🔥🔥最终消息一致性的分布式事务框架mykit-transaction-message,使用disruptor极大的提升了框架的性能。目前已使用到生产环境,经受住了分布式事务场景的考验。
Java
93
star
7

mykit-serial

🔥🔥🔥全网首个完全开源的分布式全局有序序列号(分布式ID生成器)服务,支持嵌入式(Jar包)、RPC(Dubbo,motan、sofa、SpringCloud、SpringCloud Alibaba等主流的RPC框架)、Restful API方式发布服务。
Java
72
star
8

Mykit

一个通用的开源工具集,集Web、Restful服务、分布式服务、分布式数据库、分布式事务、大数据、数据分析、云计算、人工智能、深度学习、机器学习、算法等为一体的通用开源解决方案,持续更新中。。。
Java
71
star
9

python-hacker

本项目均为冰河亲自编写并整理的Python渗透脚本集合,可直接拿来用于渗透实战
Python
62
star
10

mykit-concurrent-principle

🔥🔥🔥《深入理解高并发编程:核心原理与案例实战》随书源码
Java
35
star
11

spring-redis

📚 基于Redis解决缓存击穿、穿透和雪崩问题的通用解决方案,拿来即用。支持存储对象、集合、简单数据类型等。无需提前将数据存入Redis,直接使用提供的分布式缓存接口查询数据即可,附带完善的单元测试用例,方便学习使用。
Java
32
star
12

mykit-excel

mykit-excel插件是通用的Excel导出导出框架,旨在提供通用的Excel导入导出功能,支持以注解方式选择JavaBean中的部分字段导出,并提供注解指定Excel列标题和排序功能。
Java
31
star
13

mykit-chat

mykit-chat是基于Netty实现的实时聊天系统服务器端:1. 支持昵称登录; 2. 支持多人同时在线; 3. 同步显示在线人数; 4. 支持文字和表情的内容; 5. 浏览器与服务器保持长连接,定时心跳检测;
Java
31
star
14

spring-annotation-book

🔥🔥🔥《Spring核心技术》专栏源码
Java
25
star
15

mykit-android-signapk

本项目旨在可以为Apk打上系统签名, 目中的SignApk类是从Android的源码中复制出来的系统签名程序, platform.pk8和platform.x509.pem也是从Android源码中复制出来, 通过java -jar mykit-android-signapk.jar platform.x509.pem platform.pk8 需要签名的apk文件 签名后生成的apk文件 即可生成系统签名的Apk安装包
Java
22
star
16

mykit-holiday

纯算法可以获取到1900-2100年之间任意日期的详细信息,包括:节日、是否闰年和闰月、公历和农历、对应的二十四节气以及天干地支信息等。
Java
21
star
17

BuyTickets

Python实现自动购买火车票(基于Python3.6+splinter)
Python
21
star
18

mykit-cache

🔥🔥🔥 mykit架构中独立出来的mykit-cache组件,封装了mykit架构下对于缓存cache的各种操作,使用者只需要引入相关的Jar包,即可实现对缓存的轻松操作。
18
star
19

binghe001.github.io

📚 本静态博客是作者冰河多年从事多年互联网大厂开发、架构的学习历程技术汇总,旨在为大家提供一个清晰详细的学习教程,侧重点更倾向编写Java核心内容、底层原理、架构知识、渗透技术。如果本仓库能为您提供帮助,请给予支持(关注、点赞、分享)!
HTML
18
star
20

spring-annotation

【Spring注解驱动开发】专栏源码
Java
13
star
21

mykit-lock

mykit架构中独立出来的mykit-lock组件,旨在提供高并发架构下分布式系统的分布式锁架构。 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候,往往需要互斥来防止彼此干扰来保证一致性,在这种情况下,便需要使用到分布式锁。
Java
13
star
22

mykit-concurrent-jdk

🔥🔥🔥《深入理解高并发编程:JDK核心技术》随书源码
Java
12
star
23

mykit-ddns

域名绑定动态IP
Java
10
star
24

log4j-leak

📚 本仓库是冰河重现Log4j远程过程执行漏洞的代码示例,完整重现了Log4j最新远程过程执行漏洞,如果对你有所帮助,请给个大大的Star,谢谢啦!!
Java
9
star
25

bytecode

java字节码编程,持续更新中,详情关注 冰河技术 微信公众号阅读相关文章
Java
9
star
26

Android-MQ

基于Android的轻量级开源消息通信组件——Android-MQ
Java
8
star
27

mykit-async

🔥🔥🔥 mykit架构中独立出来的mykit-async异步编程框架,本异步框架实现了在Spring的基础上重写和扩展了异步执行的流程,主要提供了如下功能: 1、提供注解声明方式异步执行,对原代码无侵入(解决spring-async对有返回结果的需包装成Future对象问题); 2、提供编程式异步方法; 3、提供异步事件编程; 4、解决多层异步嵌套带来的线程阻塞问题(目前spring-async依然存在此问题);
Java
7
star
28

mykit-ratelimiter

限流示例代码
Java
6
star
29

java-simple-design-patterns

📚 《Java极简设计模式》专栏源码,多一句没有,少一句不行,用最简短的篇幅讲述设计模式最核心的知识。
Java
6
star
30

binghe-chess

中国象棋小游戏,可以直接运行,可以直接用于毕业设计
Java
5
star
31

mycode-generator

mycode-generator项目为一款通用的Java代码生成神器,目前已完全开源,旨在帮助广大的Java开发人员从编写重复冗杂的代码中解放出来。。。
Java
4
star
32

distribute-seckill

💥💥💥冰河技术知识星球《手写秒杀系统》专栏部分源码
4
star
33

RPC-Server

基于Netty, ZooKeeper和Spring的轻量级RPC开源框架
Java
3
star
34

asp_mssql_tool

MSSQL语句执行工具asp版,支持x86/x64系统,数据库版本支持MSSQL2000(x86/x64)、MSSQL2005(x86/x64)、MSSQL2008(x86/x64)、MSSQL2012(x86/x64)
ASP
2
star
35

mybatis

MyBatis源码分析,MyBatis源码来自:https://github.com/mybatis/mybatis-3
Java
2
star
36

mykit-learning

学习各种技术的代码示例,关注 冰河技术 微信公众号查看具体文章学习!!
Java
2
star
37

mykit-fastdfs

SpringBoot整合FastDFS的简单示例
Java
2
star
38

dubbo-parent

dubbo-2.7.8源码解析
Java
2
star
39

mykit-weixin

基于mykit-wechat-sdk微信SDK开发的微信第三方服务,以 Spring Boot + MyBatis 实现的兼容多微信公众号接入的微信服务
Java
2
star
40

mykit-android-slienceinstall

Android静默安装的程序实现,系统签名需要结合工程:https://github.com/sunshinelyz/mykit-android-signapk
Java
2
star
41

sharding-jdbc-demo

基于sharding-jdbc实现的各种分库分表、读写分离、柔性事务、分布式主键、分布式治理等示例,持续更新中。。。
Java
2
star
42

vmware

破解版vmware安装包和对应的密钥Key
1
star
43

storm-learning

本工程为Storm合集,为冰河记录的各种功能模块,供其他同学学习
Java
1
star
44

spring-remoting-annotation-server

使用自定义的spring注解标签发布RMI/HTTPInvoker/Hessian/Burlap远程服务
Java
1
star
45

binghe_resources

静态资源
1
star
46

mykit-weixin-sdk

mykit架构中独立出来的mykit-weixin-sdk微信开发SDK,提供通用的微信开发解决方案供其他应用或服务以及第三方应用或服务使用
Java
1
star
47

mykit-chat-sdk

mykit-chat-sdk是mykit-chat实时聊天系统的客户端SDK,目前实现的功能如下:1. 支持昵称登录;2. 支持多人同时在线;3. 同步显示在线人数;4. 支持文字和表情的内容;5. 浏览器与服务器保持长连接,定时心跳检测;
JavaScript
1
star