From 242c93b7651427fc7e3f0c14f87c6563b48a60d9 Mon Sep 17 00:00:00 2001 From: rewerma Date: Mon, 21 Jan 2019 10:12:50 +0800 Subject: [PATCH] Updated Canal Kafka RocketMQ QuickStart (markdown) --- Canal-Kafka-RocketMQ-QuickStart.md | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/Canal-Kafka-RocketMQ-QuickStart.md b/Canal-Kafka-RocketMQ-QuickStart.md index 6c7a2ef..c672e27 100644 --- a/Canal-Kafka-RocketMQ-QuickStart.md +++ b/Canal-Kafka-RocketMQ-QuickStart.md @@ -88,6 +88,8 @@ canal.mq.canalGetTimeout = 100 canal.mq.flatMessage = true canal.mq.compressionType = none canal.mq.acks = all +# kafka消息投递是否使用事务 +canal.mq.transaction = false ``` ## mq相关参数说明 @@ -98,12 +100,13 @@ canal.mq.acks = all | canal.mq.retries | 发送失败重试次数 | 0 | | canal.mq.batchSize | kafka为`ProducerConfig.BATCH_SIZE_CONFIG`
rocketMQ无意义 | 16384 | | canal.mq.maxRequestSize | kafka为`ProducerConfig.MAX_REQUEST_SIZE_CONFIG`
rocketMQ无意义 | 1048576 | -| canal.mq.lingerMs | kafka为`ProducerConfig.LINGER_MS_CONFIG`
rocketMQ无意义 | 1 | +| canal.mq.lingerMs | kafka为`ProducerConfig.LINGER_MS_CONFIG` , 如果是flatMessage格式建议将该值调大, 如: 200
rocketMQ无意义 | 1 | | canal.mq.bufferMemory | kafka为`ProducerConfig.BUFFER_MEMORY_CONFIG`
rocketMQ无意义 | 33554432 | | canal.mq.producerGroup | kafka无意义
rocketMQ为ProducerGroup名 | Canal-Producer | | canal.mq.canalBatchSize | 获取canal数据的批次大小 | 50 | | canal.mq.canalGetTimeout | 获取canal数据的超时时间 | 100 | | canal.mq.flatMessage | 是否为json格式
如果设置为false,对应MQ收到的消息为protobuf格式
需要通过CanalMessageDeserializer进行解码 | true | +| canal.mq.transaction | kafka消息投递是否使用事务, 主要针对flatMessage的异步发送和动态多topic消息投递进行事务控制来保持和canal binlog position的一致性, flatMessage模式下建议开启(需要kafka版本支持)。如果设置为true, flatMessage消息将会采用逐条同步的方式投递, 可能会产生消息丢失或者重复投递
rocketMQ无意义 | false | | --- | --- | --- | | canal.mq.topic | mq里的topic名 | 无 | | canal.mq.dynamicTopic | mq里的动态topic规则, 1.1.3版本支持 | 无 |