From d1ac2c47a7422fe47d8e585aff04c567f2640342 Mon Sep 17 00:00:00 2001 From: rewerma Date: Thu, 22 Nov 2018 09:36:37 +0800 Subject: [PATCH] Updated Sync RDB (markdown) --- Sync-RDB.md | 26 ++++++++++++-------------- 1 file changed, 12 insertions(+), 14 deletions(-) diff --git a/Sync-RDB.md b/Sync-RDB.md index d491bb9..42b7876 100644 --- a/Sync-RDB.md +++ b/Sync-RDB.md @@ -14,33 +14,31 @@ RDB adapter 用于适配mysql到任意关系型数据库(需支持jdbc)的数据 ## 1/ 修改启动器配置: application.yml, 这里以oracle目标库为例 ``` -server: - port: 8081 -logging: - level: - com.alibaba.otter.canal.client.adapter.rdb: DEBUG -...... - canal.conf: - canalServerHost: 127.0.0.1:11111 # 配置具体的canal server地址 + canalServerHost: 127.0.0.1:11111 + batchSize: 500 + syncBatchSize: 1000 + retries: 0 + timeout: + mode: tcp # kafka rocketMQ srcDataSources: defaultDS: url: jdbc:mysql://127.0.0.1:3306/mytest?useUnicode=true username: root password: 121212 - canalInstances: - - instance: example + canalAdapters: + - instance: example # canal instance Name or mq topic name groups: - - outAdapters: + - groupId: g1 + outerAdapters: - name: rdb # 指定为rdb类型同步 key: oracle1 # 指定adapter的唯一key, 与表映射配置中outerAdapterKey对应 properties: - jdbc.driverClassName: oracle.jdbc.OracleDriver # jdbc驱动名, jdbc的jar包需要自行放致lib目录下 + jdbc.driverClassName: oracle.jdbc.OracleDriver # jdbc驱动名, 部分jdbc的jar包需要自行放致lib目录下 jdbc.url: jdbc:oracle:thin:@localhost:49161:XE # jdbc url jdbc.username: mytest # jdbc username jdbc.password: m121212 # jdbc password threads: 5 # 并行执行的线程数, 默认为1 - commitSize: 3000 # 批次提交的最大行数 ``` 注意点: 1. 其中 outAdapter 的配置: name统一为rdb, key为对应的数据源的唯一标识需和下面的表映射文件中的outerAdapterKey对应, properties为目标库jdb的相关参数 @@ -53,7 +51,7 @@ canal.conf: dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值 destination: example # cannal的instance或者MQ的topic outerAdapterKey: oracle1 # adapter key, 对应上面配置outAdapters中的key -concurrent: true # 是否按主键hase并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!! +concurrent: true # 是否按主键hash并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!! dbMapping: database: mytest # 源数据源的database/shcema table: user # 源数据源表名