Commit Graph

39 Commits

Author SHA1 Message Date
kkjinping
997957d6e0 新增配置 canal.mq.enableDynamicQueuePartition,获取topic对应的队列的数量为分区的数量,以支持动态队列的场景(如阿里云的rocketmq,无法人工设置队列数量,可能会动态伸缩) (#3670) 2021-10-09 15:26:23 +08:00
suman-lee
21904ef1dc 基于明确的I/U/D是否过滤 (#3452)
* dmls filter

* dmls filters

* 基于明确的I/U/D是否过滤

* 基于明确的I/U/D是否过滤
2021-04-19 10:10:54 +08:00
文哥
20add85ff6 统一Canal 依赖的Spring 版本,升级ibatis 至mybatis (#3182)
* fix issue:#561 增加一个外部参数控制,允许位点不存在时自动重置到当前位点

* Add MariaDB GTID support

* 1. fix maven central repository url access error.(Update to https)
2. upgrade spring version to 5.0.5.RELEASE
3. upgrade ibatis to mybatis

* fix unit test run error
2020-11-20 09:24:56 +08:00
文哥
de1dd70609 1. Add MariaDB gtid support 2. fix issue:#561 增加一个外部参数控制,允许位点不存在时自动重置到当前位点 (#3025)
* fix issue:#561 增加一个外部参数控制,允许位点不存在时自动重置到当前位点

* Add MariaDB GTID support
2020-09-24 17:56:40 +08:00
liguangyao
b81e9dfeb8 支持不同topic指定专属partitionNum (#2479) 2020-08-22 13:11:53 +08:00
cjk87927
c81034dda3 增加表字段过滤功能 (#1914)
* 增加表字段过滤功能

* 增加表字段过滤功能

* 更换fastsql版本通过编译

* 1.修改字段配置格式 2.增加字段黑名单配置(冲突时以白名单为准)
2019-06-26 17:45:14 +08:00
xiayuan
4075a0623f set the validationQuery while testWhileIdle is true (#1827) 2019-05-27 23:56:25 +08:00
agapple
15e29d276a fixed default xml config 2019-03-28 22:05:56 +08:00
lee123lee123
8187d7c5df Issues #1460 修改utf8数据带表情字符错误 2019-02-28 19:04:14 +08:00
mcy
94b8fdbbf4 动态topic的xml配置 2019-01-02 13:28:27 +08:00
agapple
638952fad1 fixed binlog seek & aliyun ak/sk 2018-11-21 13:51:34 +08:00
mcy
c5bd42bbf1 canal server端 MQ 配置修改
MQ配置可动态加载
2018-11-09 16:39:52 +08:00
wuwo
beed10901d destory TableMetaTSDB when stop EventParser 2018-11-05 16:22:15 +08:00
七锋
f822761ab2 fixed issue #1047 , support snapshot expire 2018-10-26 23:46:41 +08:00
七锋
346d091d00 fixed issue #1032 , support raw config 2018-10-25 13:11:34 +08:00
shichengming
53c2a02124 增加 目标数据库密码加密解密,采用druid方式进行加密解密,并设置canal.instance.enableDruid=true时,请使用druid加密数据库密码。false时,就是使用明文密码。 2018-10-09 16:49:33 +08:00
七锋
9535e82da6 fixed readme 2018-09-21 15:40:18 +08:00
七锋
d3f52c6d3d fixed issue #727 , support rds binlog dump 2018-08-13 10:16:28 +08:00
七锋
7fd958a490 fixed issue #801 , support canal docker 2018-08-03 17:48:32 +08:00
七锋
26edbeaa28 fixed kafka performance 2018-08-02 13:58:41 +08:00
七锋
8e856acac5 fixed issue #742, improve h2 config 2018-07-17 22:32:57 +08:00
Chuanyi Li
be605617c3 Parallel参数细节的完善 2018-07-05 20:24:42 +08:00
七锋
da8bf59d5b fixed issue #726 , 多线程解析binlog DML事件,提升性能 2018-07-04 23:37:20 +08:00
七锋
0f33c8c89c fixed issue #677 , add gtidon default value 2018-06-07 14:03:33 +08:00
七锋
3c913d1e22 fixed issue #126, support gtid 2018-05-07 18:33:37 +08:00
hiwjd
21f3f8c973 支持通过GTID同步binlog 2018-05-04 16:47:03 +08:00
agapple
77342663e3 fixed rds binlog local 2017-10-15 15:55:30 +08:00
agapple
e01e48ff65 fixed h2 support 2017-10-14 01:14:13 +08:00
agapple
4f00f5ea8d fixed tsdb test 2017-10-14 00:12:43 +08:00
agapple
19707f92d4 merge tsdb meta support and refactor 2017-09-30 23:21:17 +08:00
kaimingwan
e8da1c884b table meta support 2017-09-22 22:01:57 +08:00
yinxiu
a78622ae02 rename log manager module and ajust xml 2017-03-28 20:33:14 +08:00
lubiao
350f8637c3 1、BinLogFileQueue的listBinlogFiles方法中对binlog文件名进行更严格的验证,必须以数字结尾
2、LocalBinLogConnection类中解决如下bug
	2.1第二个dump方法中增加代码"decoder.handle(LogEvent.FORMAT_DESCRIPTION_EVENT);",解决"((QueryLogEvent)event).getQuery()"语句出现乱码的问题(BEGIN后面多了4个字节),出现乱码不会进入if语句,导致找到的binlog位点不准确
	2.2第一个dump方法中,被注释的decode代码才是正确的,和DirectLogFetcher不同,此处需要构造子循环进行遍历
	2.3第一个dump方法中,将每个binlog-file的首个event设置为RotateLogEvent,否则会导致所有event的binlogFileName都是默认的mysql-bin.000001。这么改完之后,和DirectLogFetcher的行为相契合,后者在每个binlogfile的首个event就是RotateLogEvent
3、LocalBinlogEventParser中增加元数据处理的相关代码,不加的话,所有的event都不带列名,基本上没法儿使用
2016-10-11 17:28:24 +08:00
zhangyukun
31ea9fa8f0 新增canal.instance.filter.rows过滤 2016-02-25 11:38:09 +08:00
zhangyukun
369acd8eed 新增canal.instance.filter.rows过滤 2016-02-25 11:37:45 +08:00
zhangyukun
891eb960ca 新增canal.instance.filter.rows过滤 2016-02-25 11:37:17 +08:00
zhangyukun
2e5a165b88 新增canal.instance.filter.rows过滤
为parseRowsEvent方法添加过滤
2016-02-25 11:35:46 +08:00
agapple
3d6174f857 fixed issue #119 , support binlog row image noblob/minimal 2015-06-29 23:52:37 +08:00
agapple
a0defe575b init 2014-09-23 15:11:35 +08:00