chenjl/canal
1
0
Fork 0
mirror of https://github.com/alibaba/canal.git synced 2026-11-04 00:30:15 +08:00
Code Issues Packages Projects Releases Wiki Activity

Updated Canal Kafka RocketMQ QuickStart (markdown)

agapple
2019-10-14 15:08:53 +08:00
parent f9fec7bddf
commit ee3add23d0
1 changed files with 15 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files

18
Canal-Kafka-RocketMQ-QuickStart.md

@@ -80,7 +80,7 @@ canal.mq.canalBatchSize = 50
# Canal get数据的超时时间, 单位: 毫秒, 空为不限超时
canal.mq.canalGetTimeout = 100
# 是否为flat json格式对象
canal.mq.flatMessage = true
canal.mq.flatMessage = false
canal.mq.compressionType = none
canal.mq.acks = all
# kafka消息投递是否使用事务
@@ -97,11 +97,23 @@ canal.mq.transaction = false
| canal.mq.maxRequestSize | kafka为`ProducerConfig.MAX_REQUEST_SIZE_CONFIG` <br> rocketMQ无意义 | 1048576 |
| canal.mq.lingerMs | kafka为`ProducerConfig.LINGER_MS_CONFIG` , 如果是flatMessage格式建议将该值调大, 如: 200<br> rocketMQ无意义 | 1 |
| canal.mq.bufferMemory | kafka为`ProducerConfig.BUFFER_MEMORY_CONFIG` <br> rocketMQ无意义 | 33554432 |
| canal.mq.acks | kafka为`ProducerConfig.ACKS_CONFIG` <br> rocketMQ无意义 | all |
| canal.mq.kafka.kerberos.enable | kafka为`ProducerConfig.ACKS_CONFIG` <br> rocketMQ无意义 | false |
| canal.mq.kafka.kerberos.krb5FilePath | kafka kerberos认证 <br> rocketMQ无意义 | ../conf/kerberos/krb5.conf |
| canal.mq.kafka.kerberos.jaasFilePath | kafka kerberos认证 <br> rocketMQ无意义 | ../conf/kerberos/jaas.conf |
| canal.mq.producerGroup | kafka无意义 <br> rocketMQ为ProducerGroup名 | Canal-Producer |
| canal.mq.accessChannel | kafka无意义 <br> rocketMQ为channel模式，如果为aliyun则配置为cloud | local |
| --- | --- | --- |
| canal.mq.vhost= | rabbitMQ配置 | 无 |
| canal.mq.exchange= | rabbitMQ配置 | 无 |
| canal.mq.username= | rabbitMQ配置 | 无 |
| canal.mq.password= | rabbitMQ配置 | 无 |
| canal.mq.aliyunuid= | rabbitMQ配置 | 无 |
| --- | --- | --- |
| canal.mq.canalBatchSize | 获取canal数据的批次大小 | 50 |
| canal.mq.canalGetTimeout | 获取canal数据的超时时间 | 100 |
| canal.mq.flatMessage | 是否为json格式 <br> 如果设置为false,对应MQ收到的消息为protobuf格式<br>需要通过CanalMessageDeserializer进行解码 | true |
| canal.mq.transaction | kafka消息投递是否使用事务, 主要针对flatMessage的异步发送和动态多topic消息投递进行事务控制来保持和canal binlog position的一致性, flatMessage模式下建议开启(需要kafka版本支持)。如果设置为false, flatMessage消息将会采用逐条同步的方式投递, 可能会产生消息丢失或者重复投递<br> rocketMQ无意义 | false |
| canal.mq.parallelThreadSize | mq数据转换并行处理的并发度 | 8 |
| canal.mq.flatMessage | 是否为json格式 <br> 如果设置为false,对应MQ收到的消息为protobuf格式<br>需要通过CanalMessageDeserializer进行解码 | false |
| --- | --- | --- |
| canal.mq.topic | mq里的topic名 | 无 |
| canal.mq.dynamicTopic | mq里的动态topic规则, 1.1.3版本支持 | 无 |