diff --git a/README.md b/README.md index fa962288..5656cbd3 100644 --- a/README.md +++ b/README.md @@ -1,133 +1,100 @@ -
-
- -[![Build Status](https://travis-ci.com/alibaba/canal.svg?branch=master)](https://travis-ci.com/alibaba/canal) +[![build status](https://travis-ci.com/alibaba/canal.svg?branch=master)](https://travis-ci.com/alibaba/canal) [![codecov](https://codecov.io/gh/alibaba/canal/branch/master/graph/badge.svg)](https://codecov.io/gh/alibaba/canal) ![maven](https://img.shields.io/maven-central/v/com.alibaba.otter/canal.svg) ![license](https://img.shields.io/github/license/alibaba/canal.svg) -[![Average time to resolve an issue](http://isitmaintained.com/badge/resolution/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "Average time to resolve an issue") -[![Percentage of issues still open](http://isitmaintained.com/badge/open/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "Percentage of issues still open") +[![average time to resolve an issue](http://isitmaintained.com/badge/resolution/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "average time to resolve an issue") +[![percentage of issues still open](http://isitmaintained.com/badge/open/alibaba/canal.svg)](http://isitmaintained.com/project/alibaba/canal "percentage of issues still open") -

背景

-

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

-

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

-

-

基于日志增量订阅&消费支持的业务：

-
    -
  1. 数据库镜像
    2. -
  2. 数据库实时备份
    3. -
  3. 多级索引 (卖家和买家各自分库索引)
    4. -
  4. search build
    5. -
  5. 业务cache刷新
    6. -
  6. 价格变化等重要业务消息
    7. -
-

项目介绍

-

名称：canal [kə'næl]

-

译意： 水道/管道/沟渠

-

语言： 纯java开发

-

定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

-

关键词： mysql binlog parser / real-time / queue&topic

-

-

工作原理

-

mysql主备复制实现

-


从上层来看，复制分成三步： -

    -
  1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
    2. -
  2. slave将master的binary log events拷贝到它的中继日志(relay log)；
    3. -
  3. slave重做中继日志中的事件，将改变反映它自己的数据。
    4. -
-

canal的工作原理：

-

-

原理相对比较简单：

-
    -
  1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
    2. -
  2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
    3. -
  3. canal解析binary log对象(原始为byte流)
    4. -
+## 背景 -

重要版本更新说明

+早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。 -canal 1.1.x系列，参考release文档：版本发布信息 +当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x -1. 整体性能测试&优化,提升了150%. #726 参考: 【[Performance](https://github.com/alibaba/canal/wiki/Performance)】 -2. 原生支持prometheus监控 #765 【[Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart)】 -3. 原生支持kafka消息投递 #695 【[Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart)】 -4. 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: 【[Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart)】 -5. 原生支持docker镜像 #801 参考: 【[Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart)】 +基于日志增量订阅和消费的业务包括 +- 数据库镜像 +- 数据库实时备份 +- 索引构建和实时维护(拆分异构索引、倒排索引等) +- 业务 cache 刷新 +- 带业务逻辑的增量数据处理 -

相关文档

+## 项目介绍 -See the wiki page for : wiki文档 +#### 名称：canal [kə'næl] +#### 译意： 水道/管道/沟渠 +#### 产品定位： 基于数据库增量日志解析，提供增量数据订阅和消费 +#### 关键词： MySQL binlog parser / real-time / queue&topic / index build -

wiki文档列表

- +## 工作原理 -

多语言业务

+#### MySQL主备复制原理 +![](http://dl.iteye.com/upload/attachment/0080/3086/468c1a14-e7ad-3290-9d3d-44ac501a7227.jpg) -1. canal整体交互协议设计上使用了protobuf3.0，理论上可以支持绝大部分的多语言场景，欢迎大家提交多客户端的PR - * canal java客户端: https://github.com/alibaba/canal/wiki/ClientExample - * canal c#客户端开源项目地址： https://github.com/dotnetcore/CanalSharp - * canal go客户端开源项目地址： https://github.com/CanalClient/canal-go -2. canal作为MySQL binlog的增量获取工具，可以将数据投递到MQ系统中，比如Kafka/RocketMQ，可以借助于MQ的多语言能力 - * 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) +- MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看) +- MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log) +- MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据 -

相关资料

+#### canal 工作原理 +![](http://dl.iteye.com/upload/attachment/0080/3107/c87b67ba-394c-3086-9577-9db05be04c95.jpg) -* ADC阿里技术嘉年华分享ppt (放在google docs上，可能需要翻墙): ppt下载 -* [与阿里巴巴的RocketMQ配合使用](https://github.com/apache/RocketMQ) +- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 +- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) +- canal 解析 binary log 对象(原始为 byte 流) -

相关开源

-
    -
  1. 阿里巴巴分布式数据库同步系统(解决中美异地机房)：http://github.com/alibaba/otter
    2. -
  2. 阿里巴巴去Oracle数据迁移同步工具(目标支持MySQL/DRDS)：http://github.com/alibaba/yugong
    3. -
+## 重要版本更新说明 -

相关产品

-
    -
  1. 阿里云分布式数据库DRDS
    2. -
  2. 阿里云数据传输服务DTS
    3. -
  3. 阿里云数据库备份服务DBS
    4. -
  4. 阿里云数据管理服务DMS
    5. -
+canal 1.1.x 版本（[release_note](https://github.com/alibaba/canal/releases)）,性能与功能层面有较大的突破,重要提升包括: -

问题反馈

-
    -
  1. qq交流群： 161559791
    2. -
  2. 邮件交流： jianghang115@gmail.com
    3. -
  3. 新浪微博： agapple0002
    4. -
  4. 报告issue：issues
    5. -
+- 整体性能测试&优化,提升了150%. #726 参考: [Performance](https://github.com/alibaba/canal/wiki/Performance) +- 原生支持prometheus监控 #765 [Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart) +- 原生支持kafka消息投递 #695 [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) +- 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: [Aliyun RDS QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart) +- 原生支持docker镜像 #801 参考: [Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart) -

最新更新

-
    -
  1. canal发布重大版本更新1.1.0，具体releaseNode参考：https://github.com/alibaba/canal/releases/tag/canal-1.1.0
    2. -
  2. canal c#客户端开源项目地址： https://github.com/dotnetcore/CanalSharp ，推荐!
    3. -
  3. canal QQ讨论群已经建立，群号：161559791 ，欢迎加入进行技术讨论。
    4. -
  4. canal消费端项目开源: Otter(分布式数据库同步系统)，地址：https://github.com/alibaba/otter
    5. +## 文档 -
  5. Canal已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的订阅高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。DTS产品使用文档
    6. -DTS支持阿里云RDS&DRDS的Binlog日志实时订阅，现推出首月免费体验，限时限量，立即体验>>> -
+- [Home](https://github.com/alibaba/canal/wiki/Home) +- [Introduction](https://github.com/alibaba/canal/wiki/Introduction) +- [QuickStart](https://github.com/alibaba/canal/wiki/QuickStart) + - [Docker QuickStart](https://github.com/alibaba/canal/wiki/Docker-QuickStart) + - [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart") + - [Aliyun RDS for MySQL QuickStart](https://github.com/alibaba/canal/wiki/aliyun-RDS-QuickStart) + - [Prometheus QuickStart](https://github.com/alibaba/canal/wiki/Prometheus-QuickStart) +- [AdminGuide](https://github.com/alibaba/canal/wiki/AdminGuide) +- [ClientExample](https://github.com/alibaba/canal/wiki/ClientExample) +- [ClientAPI](https://github.com/alibaba/canal/wiki/ClientAPI) +- [Performance](https://github.com/alibaba/canal/wiki/Performance) +- [DevGuide](https://github.com/alibaba/canal/wiki/DevGuide) +- [BinlogChange(MySQL 5.6)](https://github.com/alibaba/canal/wiki/BinlogChange%28mysql5.6%29) +- [BinlogChange(MariaDB)](https://github.com/alibaba/canal/wiki/BinlogChange%28MariaDB%29) +- [TableMetaTSDB](https://github.com/alibaba/canal/wiki/TableMetaTSDB) +- [ReleaseNotes](http://alibaba.github.com/canal/release.html) +- [Download](https://github.com/alibaba/canal/releases) +- [FAQ](https://github.com/alibaba/canal/wiki/FAQ) + +## 多语言 + +canal 特别设计了 client-server 模式，交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑，欢迎大家提交 pull request + +- canal java 客户端: [https://github.com/alibaba/canal/wiki/ClientExample](https://github.com/alibaba/canal/wiki/ClientExample) +- canal c# 客户端: [https://github.com/dotnetcore/CanalSharp](https://github.com/dotnetcore/CanalSharp) +- canal go客户端: [https://github.com/CanalClient/canal-go](https://github.com/CanalClient/canal-go) + +canal 作为 MySQL binlog 增量获取和解析工具，可将变更记录投递到 MQ 系统中，比如 Kafka/RocketMQ，可以借助于 MQ 的多语言能力 + +- 参考文档: [Canal Kafka/RocketMQ QuickStart](https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart) + +## 相关开源 + +- [canal 消费端开源项目: Otter](http://github.com/alibaba/otter">http://github.com/alibaba/otter) +- [阿里巴巴去 Oracle 数据迁移同步工具:yugong](http://github.com/alibaba/yugong">http://github.com/alibaba/yugong) + +## 问题反馈 +- qq交流群: 161559791 +- 邮件交流: jianghang115@gmail.com +- 新浪微博: agapple0002 +- 报告 issue: [github issues](https://github.com/alibaba/canal/issues) + +## 其他资料 + + - [ ADC 阿里技术嘉年华分享 ppt ( google docs)](https://docs.google.com/presentation/d/1MkszUPYRDkfVPz9IqOT1LLT5d9tuwde_WC8GZvjaDRg/edit?usp=sharing)