创建数据订阅任务-凯发k8国际娱乐官网入口
支持的数据库
数据库引擎 |
支持订阅的数据类型 |
---|---|
rds for mysql 5.6、5.7版本 |
|
由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的进行数据订阅。
- 数据订阅与mysql到kafka同步的区别可参考。
- 更多到kafka的同步链路可参考实时同步方案概览。
使用须知
数据订阅功能通过创建订阅任务来获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的sdk接口,实现下游业务订阅、获取、并消费。
一个完整的数据订阅过程需要通过如下两个阶段来实现:
- 使用数据复制服务控制台创建数据订阅任务。
- 数据订阅任务成功后,使用数据复制服务提供的sdk接口,访问数据订阅通道,订阅并消费增量数据。
数据复制服务提供的数据订阅功能在使用上有一些固定的限制,在进行正式的数据订阅之前,请先阅读以确保各存储引擎已满足使用限制条件。
类型名称 |
使用和操作限制 |
---|---|
订阅对象约束 |
|
操作须知 |
|
操作步骤
本小节主要介绍通过数据复制服务控制台,创建数据订阅任务的具体操作。
以下操作以mysql为示例,详细介绍数据订阅任务的配置流程,其他存储引擎的配置流程类似。
- 在“数据订阅管理”页面,单击“创建订阅任务”。
- 在“选择订阅源”页面,填选区域、任务名称、描述、订阅源信息,单击“下一步”。
图1 订阅任务信息
表3 任务和描述 参数
描述
区域
当前所在区域,可进行切换。为了降低访问时延、提高访问速度,请就近选择靠近您业务的区域。
项目
当前区域对应的项目,可进行切换。
任务名称
任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。
描述
描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。
图2 订阅源信息
表4 订阅源信息 参数
描述
实例类型
选择rds实例。
源数据库引擎
选择mysql。
rds实例
用户所创建的关系型数据库实例。
企业项目
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。请在下拉框中选择所在的企业项目,其中,default为默认项目。
更多关于企业项目的信息,请参见。
如果需要自定义企业项目,请在控制台右上角单击“企业”,进入“企业项目管理”页面创建,具体请参见《企业管理用户指南》中“”的内容。
标签
可选配置,对订阅任务的标识。使用标签可方便管理您的数据订阅任务。每个任务最多支持20个标签配额。
任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见。
对于创建失败的任务,drs默认保留3天,超过3天将会自动结束任务。
- 在“选择订阅对象”页面,等待实例创建成功后,选择数据订阅的对象,单击“下一步”。
图3 设置订阅对象
表5 订阅对象 参数
描述
订阅类型
订阅类型分为数据更新和结构更新。
- 数据更新:
订阅已选择数据的增量数据更新。
- 结构更新:
订阅整个实例所有对象的结构创建、删除及修改,您需要使用sdk过滤所需的数据。
订阅对象
数据订阅的订阅对象目前支持表级订阅。您可以根据业务场景选择所需的表。
如果有切换订阅源的操作,请在选择订阅对象前单击右上角的,以确保待选择的对象为最新的订阅对象。
选择订阅对象的时候支持搜索,以便您快速选择需要的对象。
- 数据更新:
- 在“任务确认”页面,设置任务异常通知设置、smn主题,并确认订阅任务信息无误后,勾选协议,单击“启动任务”,提交订阅任务。
图4 任务启动设置
表6 任务启动设置 参数
描述
任务异常通知设置
该项为可选参数,开启之后,选择对应的smn主题。当同步任务状态异常时,系统将发送通知。
smn主题
“任务异常通知设置”项开启后可见,需提前在smn上申请主题并添加订阅。
smn主题申请和订阅可参考。
时延阈值
源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。
时延阈值设置是指时延超过一定的值后(时延阈值范围为0到3600s),drs可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。
说明:- 设置时延阈值之前,需要设置任务异常通知。
- 当时延阈值设置为0时,不会发送通知给收件人。
- 订阅任务提交后,您可在“数据订阅管理”页面,查看并管理自己的任务。
- 您可查看任务提交后的状态,状态请参见。
- 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。
- 对于未启动、状态为配置中的任务,drs默认保留3天,超过3天drs会自动删除后台资源,当前任务状态不变。当用户再次配置时,drs会重新申请资源。
- 对于是失败状态的订阅任务,drs默认保留14天,超过14天drs会自动删除后台资源,当前任务状态不变。当用户再次配置时,drs会重新申请资源。
当订阅任务创建完成后,需要使用sdk实时订阅任务中的增量数据。具体的操作及注意事项请参考。
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨