From ee3add23d0ab265d74a4823e50d1157e16a4d1e9 Mon Sep 17 00:00:00 2001 From: agapple Date: Mon, 14 Oct 2019 15:08:53 +0800 Subject: [PATCH] Updated Canal Kafka RocketMQ QuickStart (markdown) --- Canal-Kafka-RocketMQ-QuickStart.md | 18 +++++++++++++++--- 1 file changed, 15 insertions(+), 3 deletions(-) diff --git a/Canal-Kafka-RocketMQ-QuickStart.md b/Canal-Kafka-RocketMQ-QuickStart.md index caed6a0..9e64376 100644 --- a/Canal-Kafka-RocketMQ-QuickStart.md +++ b/Canal-Kafka-RocketMQ-QuickStart.md @@ -80,7 +80,7 @@ canal.mq.canalBatchSize = 50 # Canal get数据的超时时间, 单位: 毫秒, 空为不限超时 canal.mq.canalGetTimeout = 100 # 是否为flat json格式对象 -canal.mq.flatMessage = true +canal.mq.flatMessage = false canal.mq.compressionType = none canal.mq.acks = all # kafka消息投递是否使用事务 @@ -97,11 +97,23 @@ canal.mq.transaction = false | canal.mq.maxRequestSize | kafka为`ProducerConfig.MAX_REQUEST_SIZE_CONFIG`
rocketMQ无意义 | 1048576 | | canal.mq.lingerMs | kafka为`ProducerConfig.LINGER_MS_CONFIG` , 如果是flatMessage格式建议将该值调大, 如: 200
rocketMQ无意义 | 1 | | canal.mq.bufferMemory | kafka为`ProducerConfig.BUFFER_MEMORY_CONFIG`
rocketMQ无意义 | 33554432 | +| canal.mq.acks | kafka为`ProducerConfig.ACKS_CONFIG`
rocketMQ无意义 | all | +| canal.mq.kafka.kerberos.enable | kafka为`ProducerConfig.ACKS_CONFIG`
rocketMQ无意义 | false | +| canal.mq.kafka.kerberos.krb5FilePath | kafka kerberos认证
rocketMQ无意义 | ../conf/kerberos/krb5.conf | +| canal.mq.kafka.kerberos.jaasFilePath | kafka kerberos认证
rocketMQ无意义 | ../conf/kerberos/jaas.conf | | canal.mq.producerGroup | kafka无意义
rocketMQ为ProducerGroup名 | Canal-Producer | +| canal.mq.accessChannel | kafka无意义
rocketMQ为channel模式，如果为aliyun则配置为cloud | local | +| --- | --- | --- | +| canal.mq.vhost= | rabbitMQ配置 | 无 | +| canal.mq.exchange= | rabbitMQ配置 | 无 | +| canal.mq.username= | rabbitMQ配置 | 无 | +| canal.mq.password= | rabbitMQ配置 | 无 | +| canal.mq.aliyunuid= | rabbitMQ配置 | 无 | +| --- | --- | --- | | canal.mq.canalBatchSize | 获取canal数据的批次大小 | 50 | | canal.mq.canalGetTimeout | 获取canal数据的超时时间 | 100 | -| canal.mq.flatMessage | 是否为json格式
如果设置为false,对应MQ收到的消息为protobuf格式
需要通过CanalMessageDeserializer进行解码 | true | -| canal.mq.transaction | kafka消息投递是否使用事务, 主要针对flatMessage的异步发送和动态多topic消息投递进行事务控制来保持和canal binlog position的一致性, flatMessage模式下建议开启(需要kafka版本支持)。如果设置为false, flatMessage消息将会采用逐条同步的方式投递, 可能会产生消息丢失或者重复投递
rocketMQ无意义 | false | +| canal.mq.parallelThreadSize | mq数据转换并行处理的并发度 | 8 | +| canal.mq.flatMessage | 是否为json格式
如果设置为false,对应MQ收到的消息为protobuf格式
需要通过CanalMessageDeserializer进行解码 | false | | --- | --- | --- | | canal.mq.topic | mq里的topic名 | 无 | | canal.mq.dynamicTopic | mq里的动态topic规则, 1.1.3版本支持 | 无 |