mirror of
https://github.com/alibaba/canal.git
synced 2026-11-04 00:30:15 +08:00
Updated Home (markdown)
Li Qiang
119
Home.md
119
Home.md
@@ -1,82 +1,73 @@
|
||||
[](https://travis-ci.org/alibaba/canal)
|
||||
[](https://travis-ci.com/alibaba/canal)
|
||||
[](https://codecov.io/gh/alibaba/canal)
|
||||
|
||||
|
||||
[](http://isitmaintained.com/project/alibaba/canal "Average time to resolve an issue")
|
||||
[](http://isitmaintained.com/project/alibaba/canal "Percentage of issues still open")
|
||||
[](http://isitmaintained.com/project/alibaba/canal "average time to resolve an issue")
|
||||
[](http://isitmaintained.com/project/alibaba/canal "percentage of issues still open")
|
||||
|
||||
<h1>项目介绍</h1>
|
||||
<p style="font-size: 14px;"> 名称：canal [kə'næl]</p>
|
||||
<p style="font-size: 14px;"> 译意： 水道/管道/沟渠 </p>
|
||||
<p style="font-size: 14px;"> 语言： 纯java开发</p>
|
||||
<p style="font-size: 14px;"> 定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql</p>
|
||||
<p style="font-size: 14px;"> 关键词： mysql binlog parser / real-time / queue&topic </p>
|
||||
<p style="font-size: 14px;"> </p>
|
||||
<h2>工作原理</h2>
|
||||
<p><img width="590" src="http://dl.iteye.com/upload/attachment/0080/3107/c87b67ba-394c-3086-9577-9db05be04c95.jpg" alt="" height="273"></p>
|
||||
<p>原理相对比较简单：</p>
|
||||
<ol>
|
||||
<li>canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议</li>
|
||||
<li>mysql master收到dump请求，开始推送binary log给slave(也就是canal)</li>
|
||||
<li>canal解析binary log对象(原始为byte流)</li>
|
||||
</ol>
|
||||
## 项目介绍
|
||||
|
||||
<h1>QuickStart</h1>
|
||||
#### 名称：canal [kə'næl]
|
||||
#### 译意： 水道/管道/沟渠
|
||||
#### 产品定位： 基于数据库增量日志解析，提供增量数据订阅和消费
|
||||
#### 关键词： MySQL binlog parser / real-time / queue&topic / index build
|
||||
|
||||
## 工作原理
|
||||
|
||||
|
||||
|
||||
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
|
||||
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
|
||||
- canal 解析 binary log 对象(原始为 byte 流)
|
||||
|
||||
## 如何参与
|
||||
|
||||
- 如果在使用 canal 过程中，发现 bug 或者有新的述求，欢迎提交 issue ，请按标准模板进行填写，以便我们快速进行定位和理解，从而解决问题或者精确实现你的诉求
|
||||
- 如果你希望参与到代码开发中来，欢迎提交 pull request([如何使用 pull request?](https://help.github.com/articles/using-pull-requests))，代码开发前，请在 IDE 中导入工程中的 code format (intellij idea 请先安装 Eclipse Code Formatter 插件，再进行设置)
|
||||
- 如果你觉得 canal 帮助到了你业务，并且觉得这个产品还不错，请多多向你的朋友、同事推荐
|
||||
|
||||
## QuickStart
|
||||
See the page for quick start: [[QuickStart]].
|
||||
|
||||
<h1>ClientExample</h1>
|
||||
## ClientExample
|
||||
See the page for quick start: [[ClientExample]].
|
||||
|
||||
<h1>AdminGuide</h1>
|
||||
## AdminGuide
|
||||
See the page for admin deploy guide : [[AdminGuide]]
|
||||
|
||||
<h1>时序表结构</h1>
|
||||
New Feature: <a href="https://github.com/alibaba/canal/wiki/TableMetaTSDB">TableMetaTSDB</a>
|
||||
## 重要版本更新说明
|
||||
|
||||
<h1>重要版本更新说明</h1>
|
||||
canal 1.1.x 版本（[release_note](https://github.com/alibaba/canal/releases)）,性能与功能层面有较大的突破,重要提升包括:
|
||||
|
||||
canal 1.1.x系列，参考release文档：<a href="https://github.com/alibaba/canal/releases">版本发布信息</a>
|
||||
- 整体性能测试&优化,提升了150%. #726 参考: [Performance](https://github.com/alibaba/canal/wiki/Performance)
|
||||
- 原生支持prometheus监控 #765 [Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart)
|
||||
- 原生支持kafka消息投递 #695 [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart)
|
||||
- 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: [Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart)
|
||||
- 原生支持docker镜像 #801 参考: [Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart)
|
||||
|
||||
1. 整体性能测试&优化,提升了150%. #726 参考: 【[Performance](https://github.com/alibaba/canal/wiki/Performance)】
|
||||
2. 原生支持prometheus监控 #765 【[Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart)】
|
||||
3. 原生支持kafka消息投递 #695 【[Canal Kafka QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-QuickStart)】
|
||||
4. 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: 【[Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart)】
|
||||
5. 原生支持docker镜像 #801 参考: 【[Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart)】
|
||||
## 多语言
|
||||
|
||||
<h1>多语言业务</h1>
|
||||
canal 特别设计了 client-server 模式，交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑，欢迎大家提交 pull request
|
||||
|
||||
- canal java 客户端: [https://github.com/alibaba/canal/wiki/ClientExample](https://github.com/alibaba/canal/wiki/ClientExample)
|
||||
- canal c# 客户端: [https://github.com/dotnetcore/CanalSharp](https://github.com/dotnetcore/CanalSharp)
|
||||
- canal go客户端: [https://github.com/CanalClient/canal-go](https://github.com/CanalClient/canal-go)
|
||||
|
||||
canal 作为 MySQL binlog 增量获取和解析工具，可将变更记录投递到 MQ 系统中，比如 Kafka/RocketMQ，可以借助于 MQ 的多语言能力
|
||||
|
||||
1. canal整体交互协议设计上使用了protobuf3.0，理论上可以支持绝大部分的多语言场景，欢迎大家提交多客户端的PR
|
||||
* canal java客户端: <a href="https://github.com/alibaba/canal/wiki/ClientExample"> https://github.com/alibaba/canal/wiki/ClientExample </a>
|
||||
* canal c#客户端开源项目地址：<a href="https://github.com/CanalClient/CanalSharp"> https://github.com/CanalSharp/CanalSharp </a>
|
||||
* canal go客户端开源项目地址：<a href="https://github.com/CanalClient/canal-go"> https://github.com/CanalClient/canal-go </a>
|
||||
2. canal作为MySQL binlog的增量获取工具，可以将数据投递到MQ系统中，比如Kafka/RocketMQ，可以借助于MQ的多语言能力
|
||||
* 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart)
|
||||
- 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart)
|
||||
|
||||
<h1>版本相关</h1>
|
||||
1. 建议版本：1.1.0
|
||||
## 版本
|
||||
|
||||
2. 下载发布包：<a href="https://github.com/alibaba/canal/releases">download</href>
|
||||
|
||||
3. maven依赖
|
||||
<pre name="wiki-code" class="java"><dependency>
|
||||
<groupId>com.alibaba.otter</groupId>
|
||||
<artifactId>canal.client</artifactId>
|
||||
<version>1.1.0</version>
|
||||
</dependency></pre>
|
||||
4. 详细的issues列表可查看：<a href="http://alibaba.github.io/canal/release.html">ReleaseNotes</href>
|
||||
|
||||
<h1>相关资料</h1>
|
||||
|
||||
* ADC阿里技术嘉年华分享ppt (放在google docs上，可能需要翻墙): <a href="https://docs.google.com/presentation/d/1MkszUPYRDkfVPz9IqOT1LLT5d9tuwde_WC8GZvjaDRg/edit?usp=sharing">ppt下载</href>
|
||||
* [与阿里巴巴的RocketMQ配合使用](https://github.com/apache/rocketmq)
|
||||
|
||||
<h1>如何参与</h1>
|
||||
|
||||
1. 代码
|
||||
提交pull request : <a href="https://help.github.com/articles/using-pull-requests">https://help.github.com/articles/using-pull-requests</a>
|
||||
--------
|
||||
<h3>最新更新</h3>
|
||||
<ol>
|
||||
<li>canal QQ讨论群已经建立，群号：161559791 ，欢迎加入进行技术讨论。</li>
|
||||
<li>canal消费端项目开源: Otter(分布式数据库同步系统)，<a href="https://github.com/alibaba/otter">地址：https://github.com/alibaba/otter</a></li>
|
||||
</ol>
|
||||
- 推荐版本：1.1.3
|
||||
- [ReleaseNotes](http://alibaba.github.io/canal/release.html)
|
||||
- 下载发布包：[download](https://github.com/alibaba/canal/releases)
|
||||
- maven依赖
|
||||
|
||||
```xml
|
||||
<dependency>
|
||||
<groupId>com.alibaba.otter</groupId>
|
||||
<artifactId>canal.client</artifactId>
|
||||
<version>1.1.3</version>
|
||||
</dependency>
|
||||
```
|
||||
|
||||
Reference in New Issue
Block a user