diff --git a/Home.md b/Home.md index 9947578..6935e1f 100644 --- a/Home.md +++ b/Home.md @@ -1,82 +1,73 @@ -[![Build Status](https://travis-ci.org/alibaba/canal.svg?branch=master)](https://travis-ci.org/alibaba/canal) +[![build status](https://travis-ci.com/alibaba/canal.svg?branch=master)](https://travis-ci.com/alibaba/canal) [![codecov](https://codecov.io/gh/alibaba/canal/branch/master/graph/badge.svg)](https://codecov.io/gh/alibaba/canal) ![maven](https://img.shields.io/maven-central/v/com.alibaba.otter/canal.svg) ![license](https://img.shields.io/github/license/alibaba/canal.svg) -[![Average time to resolve an issue](http://isitmaintained.com/badge/resolution/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "Average time to resolve an issue") -[![Percentage of issues still open](http://isitmaintained.com/badge/open/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "Percentage of issues still open") +[![average time to resolve an issue](http://isitmaintained.com/badge/resolution/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "average time to resolve an issue") +[![percentage of issues still open](http://isitmaintained.com/badge/open/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "percentage of issues still open") -

项目介绍

-

名称:canal [kə'næl]

-

译意: 水道/管道/沟渠

-

语言: 纯java开发

-

定位: 基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql

-

关键词: mysql binlog parser / real-time / queue&topic

-

-

工作原理

-

-

原理相对比较简单:

-
    -
  1. canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
  2. -
  3. mysql master收到dump请求,开始推送binary log给slave(也就是canal)
  4. -
  5. canal解析binary log对象(原始为byte流)
  6. -
+## 项目介绍 -

QuickStart

+#### 名称:canal [kə'næl] +#### 译意: 水道/管道/沟渠 +#### 产品定位: 基于数据库增量日志解析,提供增量数据订阅和消费 +#### 关键词: MySQL binlog parser / real-time / queue&topic / index build + +## 工作原理 + +![](http://dl.iteye.com/upload/attachment/0080/3107/c87b67ba-394c-3086-9577-9db05be04c95.jpg) + +- canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议 +- MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal ) +- canal 解析 binary log 对象(原始为 byte 流) + +## 如何参与 + +- 如果在使用 canal 过程中,发现 bug 或者有新的述求,欢迎提交 issue ,请按标准模板进行填写,以便我们快速进行定位和理解,从而解决问题或者精确实现你的诉求 +- 如果你希望参与到代码开发中来,欢迎提交 pull request([如何使用 pull request?](https://help.github.com/articles/using-pull-requests)),代码开发前,请在 IDE 中导入工程中的 code format (intellij idea 请先安装 Eclipse Code Formatter 插件,再进行设置) +- 如果你觉得 canal 帮助到了你业务,并且觉得这个产品还不错,请多多向你的朋友、同事推荐 + +## QuickStart See the page for quick start: [[QuickStart]]. -

ClientExample

+## ClientExample See the page for quick start: [[ClientExample]]. -

AdminGuide

+## AdminGuide See the page for admin deploy guide : [[AdminGuide]] -

时序表结构

-New Feature: TableMetaTSDB +## 重要版本更新说明 -

重要版本更新说明

+canal 1.1.x 版本([release_note](https://github.com/alibaba/canal/releases)),性能与功能层面有较大的突破,重要提升包括: -canal 1.1.x系列,参考release文档:版本发布信息 +- 整体性能测试&优化,提升了150%. #726 参考: [Performance](https://github.com/alibaba/canal/wiki/Performance) +- 原生支持prometheus监控 #765 [Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart) +- 原生支持kafka消息投递 #695 [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) +- 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: [Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart) +- 原生支持docker镜像 #801 参考: [Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart) -1. 整体性能测试&优化,提升了150%. #726 参考: 【[Performance](https://github.com/alibaba/canal/wiki/Performance)】 -2. 原生支持prometheus监控 #765 【[Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart)】 -3. 原生支持kafka消息投递 #695 【[Canal Kafka QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-QuickStart)】 -4. 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: 【[Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart)】 -5. 原生支持docker镜像 #801 参考: 【[Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart)】 +## 多语言 -

多语言业务

+canal 特别设计了 client-server 模式,交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑,欢迎大家提交 pull request + +- canal java 客户端: [https://github.com/alibaba/canal/wiki/ClientExample](https://github.com/alibaba/canal/wiki/ClientExample) +- canal c# 客户端: [https://github.com/dotnetcore/CanalSharp](https://github.com/dotnetcore/CanalSharp) +- canal go客户端: [https://github.com/CanalClient/canal-go](https://github.com/CanalClient/canal-go) + +canal 作为 MySQL binlog 增量获取和解析工具,可将变更记录投递到 MQ 系统中,比如 Kafka/RocketMQ,可以借助于 MQ 的多语言能力 -1. canal整体交互协议设计上使用了protobuf3.0,理论上可以支持绝大部分的多语言场景,欢迎大家提交多客户端的PR - * canal java客户端: https://github.com/alibaba/canal/wiki/ClientExample - * canal c#客户端开源项目地址: https://github.com/CanalSharp/CanalSharp - * canal go客户端开源项目地址: https://github.com/CanalClient/canal-go -2. canal作为MySQL binlog的增量获取工具,可以将数据投递到MQ系统中,比如Kafka/RocketMQ,可以借助于MQ的多语言能力 - * 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) +- 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) -

版本相关

-1. 建议版本:1.1.0 +## 版本 -2. 下载发布包:download - -3. maven依赖 -
<dependency>
-    <groupId>com.alibaba.otter</groupId>
-    <artifactId>canal.client</artifactId>
-    <version>1.1.0</version>
-</dependency>
-4. 详细的issues列表可查看:
ReleaseNotes - -

相关资料

- -* ADC阿里技术嘉年华分享ppt (放在google docs上,可能需要翻墙):
ppt下载 -* [与阿里巴巴的RocketMQ配合使用](https://github.com/apache/rocketmq) - -

如何参与

- -1. 代码 -提交pull request :
https://help.github.com/articles/using-pull-requests --------- -

最新更新

-
    -
  1. canal QQ讨论群已经建立,群号:161559791 ,欢迎加入进行技术讨论。
  2. -
  3. canal消费端项目开源: Otter(分布式数据库同步系统),地址:https://github.com/alibaba/otter
  4. -
\ No newline at end of file +- 推荐版本:1.1.3 +- [ReleaseNotes](http://alibaba.github.io/canal/release.html) +- 下载发布包:[download](https://github.com/alibaba/canal/releases) +- maven依赖 + +```xml + + com.alibaba.otter + canal.client + 1.1.3 + +```