序号 | 模块 | 信息项 | 信息项说明 | 是否必填 | 默认值 | 备注 |
1 | 1-系统清单 | 序号 | 自然序号 | 是 | =row()-2 | 为了规范管理,要求必填;向下拖拽已有公式填充 |
2 | 系统名称 | 系统中文名称 | 是 | |||
3 | 系统简称 | 系统英文名称 | 是 | |||
4 | 数据连接名称 | Smartbi产品中配置的数据连接的名称 | 是 | SmartbiCache | 当此系统数据库作为目标数据库而漏填时,默认其为SmartbiMPP数据库 | |
5 | 数据连接别名 | Smartbi产品中配置的数据连接的别名 | 是 | 高速缓存库 | 当此系统数据库作为目标数据库而漏填时,默认其为SmartbiMPP数据库 在产品中创建时是非必填的,为了规范管理,要求必填 | |
6 | 数据库 | 指系统数据存储的数据库,如:Oracle、MySQL、SQLServer、SmartbiMPP | 是 | SmartbiMPP | 当此系统数据库作为目标数据库而漏填时,默认其为SmartbiMPP数据库 目前支持数据库类型:Oracle、MySQL、SQLServer、SmartbiMPP | |
7 | 数据库版本 | 数据库版本号 | 否 | 根据实际情况填写,有则必须填 | ||
8 | 系统说明 | 描述系统的功能、业务处理范围等 | 否 | |||
9 | 2-变量与参数 | 序号 | 自然序号 | 是 | =row()-1 | 为了规范管理,要求必填;向下拖拽已有公式填充 |
10 | 类型 | 选择是参数还是变量 | 是 | 下拉选择:参数、变量 参数:即在程序运行前传入具体值 变量:在程序运行时才确定下来具体值 | ||
11 | 名称 | 英文命名 | 是 | 使用时填写的名称,支持字母、数字、下划线,且开头只能为字母 | ||
12 | 描述 | 对“名称”的描述说明 | 是 | 说明“名称”的具体中文描述、运用场景等 | ||
13 | 变量表达式 | 当类型选择变量时使用,字符串格式。如果这个值已知,且不通过参数进行运算获得,则填写的表达式为字符串;如果值未知,需通过参数运算或其他变量运算获得,则此处填写的是计算公式。 | 否 | 有则必须填,无则不填 | ||
14 | 使用方法 | 使用提示;拖动公式获得 | 否 | 拖动公式获得 | ||
15 | 3-表清单 | 序号 | 自然序号 | 是 | =row()-2 | 为了规范管理,要求必填;向下拖拽已有公式填充 |
16 | 源系统 | 即需要接入数据的来源系统,一般是客户的业务系统 | ||||
17 | 目标系统 | 即数据接入后存储的系统,一般是ODS、仓库、集市、报表系统等 | ||||
18 | 源系统名称 | 系统中文名称 | 是 | 数据来自“1-系统清单”中的“系统名称”列 | ||
19 | 源系统简称 | 系统英文名称 | 是 | 数据来自“1-系统清单”中的“系统简称”列 | ||
20 | 源系统库名或Schema | Schema | 是 | 与自助ETL中的数据源的SCHEMA对应 | ||
21 | 源系统表英文名称 | 指需要接入的数据库表中的表英文名称 | 是 | |||
22 | 源系统表中文名称 | 指需要接入的数据库表中的表中文名称 | 否 | 为了规范管理,要求必填; | ||
23 | 采集频率 | 指从源系统抽取数据的频率 | 是 | 每日末,每旬初,每旬末,每月初,每月末,每季初,每季末,半年初,半年末,每年初,每年末 | ||
24 | 采集方式 | 指每次从源系统表获取部分数据还是全表数据 增量:指部分数据记录;全量:指全表数据记录 | 是 | 增量的典型例子:销售明细表,销售明细表中有销售时间等可以识别记录产生的时间,且记录一经写入数据库,不会再改动; 全量的典型例子:客户信息表,客户信息一般没有记录产生的时间,即使有,因为客户信息维护后,是会改变记录信息的,无法通过记录产生的时间提取增量。 | ||
25 | 增量采集条件 | 当“采集方式”为增量时,需要填写增量条件 增量条件即识别增量信息的过滤条件 | 否 | 如“采集方式”备注中的销售明细表例子,销售时间可用于识别增量数据; 每日把销售日期为当天的数据提取出来,可以减少每天接入数据的数据量。 | ||
26 | 触发时间 | 用于说明触发数据抽取的条件 | 是 | 同Smartbi“计划任务中”的触发时间,如1:30 | ||
27 | 目标系统名称 | 系统中文名称 | 是 | 数据来自“1-系统清单”中的“系统名称”列 | ||
28 | 目标系统简称 | 系统英文名称 | 是 | 数据来自“1-系统清单”中的“系统简称”列 | ||
29 | 目标系统库名或Schema | Schema | 是 | smartbimpp | 与自助ETL中的数据源的SCHEMA对应 当此系统数据库为SmartbiMPP数据库时默认填写smartbimpp | |
30 | 目标系统接口表英文名称 | 指目标数据库表中的表英文名称 | 是 | |||
31 | 目标系统接口表中文名称 | 指目标数据库表中的表中文名称 | 否 | 为了规范管理,要求必填; | ||
32 | 加载策略 | 指每次从源系统表获取数据进行装载前的处理策略,主要用于建立重跑机制。 全量:是指目标数据库表全表清空再加载,应用系统数据库永远只有最后一次批次的数据; 增量:指在考虑批次重新执行时对对应日期批次进行增量部分数据删除,应用系统会一直保留所有数据。 | 是 | 全量 | 强调: 采用全量时,是把目标库中的表全表数据删除之后,再把源库表的数据装入目标库表; 采用增量时,是仅删除增量回退条件中制定条件的数据后,再把源库表的数据装入目标库表,选择增量时,增量回退条件为必填。 不填则默认为全量 | |
33 | 增量回退条件 | 当加载策略为“增量”时必填。 从源数据库表装载数据到目标库表前,先按此条件对数据进行一次删除 | 否 | 一般情况下,用于作业反复执行时,保证当前批次的数据为最新时使用。 当作业在每个执行频度内第一次抽取时,是不会有数据被删除的,但是出现重复执行时,会删除部分符合条件的数据。 | ||
34 | 4-字段清单 | 序号 | 自然序号 | 是 | =row()-2 | 为了规范管理,要求必填;向下拖拽已有公式填充 |
35 | 作业名 | 接入程序的名称;需要全局唯一!!! | 是 | 支持字母、数字、下划线,且以字母开头;大小写不敏感 | ||
36 | 源系统 | 即需要接入数据的来源系统,一般是客户的业务系统 | ||||
37 | 目标系统 | 即数据接入后存储的系统,一般是ODS、仓库、集市、报表系统等 | ||||
38 | 源系统名称 | 系统中文名称 | 是 | 数据来自“1-系统清单”中的“系统名称”列 | ||
39 | 源系统简称 | 系统英文名称 | 是 | 数据来自“1-系统清单”中的“系统简称”列 | ||
40 | 源系统库名或Schema | Schema | 是 | 与自助ETL中的数据源的SCHEMA对应 | ||
41 | 源系统表英文名称 | 指需要接入的数据库表中的表英文名称 | 是 | |||
42 | 源系统表中文名称 | 指需要接入的数据库表中的表中文名称 | 否 | 为了规范管理,要求必填; | ||
43 | 源系统表字段序号 | 指该字段在数据库中的字段顺序号(创建顺序) | 是 | |||
44 | 源系统表字段英文名称 | 指数据库表中的表字段英文名称 | 是 | |||
45 | 源系统表字段中文名称 | 指数据库表中的表字段中文描述 | 否 | 为了规范管理,要求必填; | ||
46 | 源系统表数据类型 | 指数据库表中表字段的数据类型 | 是 | 必填 | ||
47 | 源系统表字段长度 | 指数据库表中表字段的长度 | 否 | 有则必须填,无则不填 | ||
48 | 源系统表字段精度 | 指数据库表中表字段的精度 | 否 | 有则必须填,无则不填 | ||
49 | 是否主键 | 指该字段是否是主键字段,是则填Y,不是则填N | 是 | |||
50 | 可否为空 | 指该字段是否允许空值出现,是则填Y,不是则填N | 否 | Y | ||
51 | 字段说明 | 对字段的业务描述,当字段中文名称无法准确表达业务信息含义或需要对字段的业务信息含义进行补充描述时填写 | 否 | |||
52 | 备注 | 其它需要说明的内容 | 否 | |||
53 | 目标系统名称 | 系统中文名称 | 是 | 数据来自“1-系统清单”中的“系统名称”列 | ||
54 | 目标系统简称 | 系统英文名称 | 是 | 数据来自“1-系统清单”中的“系统简称”列 | ||
55 | 目标系统库名或Schema | Schema | 是 | smartbimpp | 与自助ETL中的数据源的SCHEMA对应 当此系统数据库为SmartbiMPP数据库时默认填写smartbimpp | |
56 | 目标系统表英文名称 | 指目标数据库表中的表英文名称 | 是 | 不填时,默认与源系统相同 | ||
57 | 目标系统表中文名称 | 指目标数据库表中的表中文名称 | 否 | 不填时,默认与源系统相同 | 为了规范管理,要求必填; | |
58 | 目标统表字段序号 | 指该字段在数据库中的字段顺序号(创建顺序) | 是 | 不填时,默认与源系统相同 | ||
59 | 目标统表字段英文名称 | 指数据库表中的表字段英文名称 | 是 | 不填时,默认与源系统相同 | ||
60 | 目标统表字段中文名称 | 指数据库表中的表字段中文描述 | 否 | 不填时,默认与源系统相同 | 为了规范管理,要求必填; | |
61 | 目标系统表数据类型 | 指数据库表中表字段的数据类型 | 是 | 必填 | ||
62 | 目标系统表字段长度 | 指数据库表中表字段的长度 | 否 | 有则必须填,无则不填 | ||
63 | 目标系统表字段精度 | 指数据库表中表字段的精度 | 否 | 有则必须填,无则不填 | ||
64 | 是否主键 | 指该字段是否是主键字段,是则填Y,不是则填N | 是 | 不填时,默认与源系统相同 | ||
65 | 可否为空 | 指该字段是否允许空值出现,是则填Y,不是则填N | 否 | Y | ||
66 | 默认值 | 当新增的字段需要赋值时,可以通过默认值设置。 默认值可以填写对应的常量值或无参函数。 | 否 | 有则必须填,无则不填 | ||
67 | 字段说明 | 对字段的业务描述,当字段中文名称无法准确表达业务信息含义或需要对字段的业务信息含义进行补充描述时填写 | 否 | |||
68 | 备注 | 其它需要说明的内容 | 否 |
- 主页面
- Smartbi Insight V11帮助中心
- …
- Smartbi Insight V11 帮助中心首页
- 数据准备
- 自助ETL
- ETL自动化
- ETL自动化工程
- 附件
- 数据接入配置.xlsx
数据接入配置.xlsx
概览
内容工具
活动