页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。
评论: 从版本86恢复

加载Excel数据指将数据文件导入到高速缓存库、MySQL业务库中。

加载Excel数据支持上传:数据分析包、Excel、CSV、TXT文件。

面板
borderColor#BBBBBB
bgColor#F0F0F0
borderWidth1
borderStylesolid
toc

加载文件数据指将数据文件导入到高速缓存库或关系数据源,目前关系数据源支持:Oracle、MySQL、DB2、Sql Server、Sybase IQ、GaussDB 200等。

加载文件数据支持上传:数据分析包、Excel、CSV、TXT文件。其中,Excel最大100M,其他文件最大200M。




注意

1、V10 新用户(空库部署V10),在【加载文件数据】默认不允许导入高速缓存库,可手动在高级设置中添加DISABLE_WRITE_TO_SMARTBI_CACHE=false,允许导入高速缓存库。

2、CSV/TXT文件:数据与数据之间以“,”分隔。

3、用户导入的关系数据源为MySQL8.0时,建议先开启load data local配置,再导入数据文件,能够显著提升导入速度。开启load data local配置方法:

在MySQL命令行输入:set global local_infile = 'ON'; 

Image Added

操作入口

入口一

选择系统导航栏的 数据连接

 ,进入到“数据连接”主界面,选择 

 ,进入到“数据连接”界面主菜单,选择 本地数据库 >

Excel

文件 ,如图:

Image Removed

Image Added

入口二
在自助数据集界面的工具栏,点击 加载Excel数据

在“自助数据集”界面的工具栏,点击 加载文件数据Image Modified),如图:

Image Removed

操作步骤

以上传Excel文件为例,其操作步骤如下:

步骤说明
1、上传文件

任选一入口,弹出“加载Excel数据”窗口,点击上传文件

Image Removed

2、数据预览与设置

选择文件上传后,进行数据预览与设置。

Image Removed

关于“数据预览与设置”界面的设置项说明,详情请参考 数据预览与设置

3、数据导入

上一步的数据设置后,点击 下一步 ,进行数据导入。

Image Removed

关于“数据导入”界面各设置项的说明,详情请参考 数据导入

 

数据预览与设置

设置项说明

新建数据表/添加到已有表

选择Excel数据导入的位置。

Image Removed

导入全部数据
  • 选择起始行:鼠标选中的行作为起始行,此行及之前的数据将不会导入。
  • 勾选导入全部数据:导入全部数据。

Image Removed

选择数据类型

支持更改数据类型,如图:

Image Removed

 

 

数据导入

1、Excel数据导入的位置选择 “新建数据表”时“数据导入”界面如图:

Image Removed

各设置项说明如下:

设置项说明
数据表真名新建的数据表的真名。
数据表别名新建的数据表显示的名称。
目标数据源选择Excel数据导入到高速缓存库或MySQL业务库。
Schema选择Schema节点。
目录选择Schema节点下的目录。
字段名设置

点击 展开 ,支持修改“字段名称”和“字段别名”

Image Removed

2、Excel数据导入的位置选择 “添加到已有表”时“数据导入”界面如图:

Image Removed

各设置项说明如下:

设置项说明
目标数据源选择Excel数据导入到高速缓存库或MySQL业务库。
Schema选择Schema节点。
目录选择Schema节点下的目录。
目标数据表

选择Excel数据导入的数据表。

下拉框列出所有通过加载Excel数据导入到高速缓存库/MySQL的表名。

导入方式

导入方式有两种:增量、全量。

操作说明

1、CSV/TXT文件:数据与数据之间以“,”分隔。

2、高速缓存库为“星环,Hadoop-hive,SmartbiMpp”时,对“日期”数据的格式要求如下:

  • 日期:yyyy-MM-dd
  • 日期时间:yyyy-MM-dd hh:mm:ss
注:“日期”数据的格式不满足要求时,导入成功,但预览数据时“日期”数据为空。

Image Added

入口三

在电子表格设计器中的工具中,点击 导入文件 按钮,如图:

Image Added

演示示例

新建数据表

下面以加载Excel数据文件、TXT数据文件、CSV数据文件为示例演示如何新建数据表

加载Excel数据文件导入

1、Excel数据文件如下:

Image Added

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image Added

在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

Image Added

该界面各设置说明请参见:导入界面各设置项及相关操作说明

4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

Image Added

预览该表数据如下:

Image Added

该加载的数据表在对应的物理库中也创建了一张数据表,如下图所示:

Image Added


加载TXT数据文件导入

1、TXT数据文件如下:

Image Added

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image Added

在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

Image Added

该界面各设置说明请参见:导入界面各设置项及相关操作说明


4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

Image Added

预览该表数据如下:

Image Added

加载CSV数据文件导入

1、CSV数据文件如下:

Image Added

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image Added


在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

Image Added

该界面各设置说明请参见:导入界面各设置项及相关操作说明

4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

Image Added

预览该表数据如下:

Image Added

导入界面的设置项及相关操作说明

设置项说明
导入数据源

选择文件数据导入到高速缓存库、MySQL、Oracle、DB2_V9、MSSQL。

注意

目标数据源选择“MySQL、Oracle、DB2_V9、MSSQL”,需在数据源界面勾选“允许加载Excel数据”。

Image Added


导入表名

指在导入数据库中自动创建表的别名;

仅支持字母、数字、下划线,且不能以数字开头。
数据库表名

指在导入数据库中自动创建表的名称;

不支持特殊字符:/\\'|\"*?%.><=:;()[]

选择起始行鼠标选中的行作为起始行,此行及之前的数据将不会导入。
文件中无表头数据

勾选文件中无表头数据:导入文件全部数据。

设置数据类型

用于设置导入目标库中各字段的数据类型,如图:

Image Added

设置字段名

点击字段名后面的Image Added按钮,对字段名进行修改,修改后,点击Image Added按钮保存修改,点击Image Added取消修改。

Image Added


注意

目标数据源为高速缓存库时,不支持中文字段名。


追加数据

下面以加载Excel数据文件、TXT数据文件、CSV数据文件为示例演示如何追加数据

Excel数据文件追加

1、Excel数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加
Image Added
情况2:新的数据文件追加
Image Added

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


Image Added

起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 Image Added

起始行选择第一行即可。


3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

Image Added


TXT数据文件追加

1、TXT数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加

Image Added

情况2:新的数据文件追加

Image Added

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


Image Added

起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 Image Added

起始行选择第一行即可。


3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

Image Added

CSV数据文件追加

1、CSV数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加

Image Added

情况2:新的数据文件追加

Image Added

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


Image Added

起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 Image Added

起始行选择第一行即可。

3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

Image Added

追加界面各设置项说明

设置项说明
数据源

选择新建数据表时确定的数据源。

字段绑定用于绑定数据表字段与导入字段。
选择起始行用于确定追加的数据行。
清空数据用于清空导入目标库中的数据表数据。


注意

如需对所加载的文件数据设置用户权限可参考文档加载文件数据用户权限说明

注意事项

1、加载本地的数据文件时日期字段自动兼容数据库格式。导入的目标库支持“日期”和“日期时间”两种数据类型,导入时系统自动将日期内容转化为这两种格式。其中,“日期”类型格式为“YYYY-MM-DD”,“日期时间”类型的格式为“YYYY-MM-DD HH:MM:SS”。

2、如果是日期类型为“yyyy/MM/dd”格式的数据,则分隔符显示为“-”。

3、用户删除加载的数据表时,系统同时自动删除物理表。

4、增量字段的数据类型必须和原表字段保持一致。