页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。
评论: 从版本86恢复

加载文件数据指将数据文件导入到高速缓存库或关系数据源,目前关系数据源支持:MySQL、Oracle、DB2_V9、MSSQL。加载文件数据指将数据文件导入到高速缓存库或关系数据源,目前关系数据源支持:Oracle、MySQL、DB2、Sql Server、Sybase IQ、GaussDB 200等。

加载文件数据支持上传:数据分析包、Excel、CSV、TXT文件。其中,Excel最大100M,其他文件最大200M。




注意
CSV

1、V10 新用户(空库部署V10),在【加载文件数据】默认不允许导入高速缓存库,可手动在高级设置中添加DISABLE_WRITE_TO_SMARTBI_CACHE=false,允许导入高速缓存库。

2、CSV/TXT文件:数据与数据之间以“,”分隔。

面板
borderColor#BBBBBB
bgColor#F0F0F0
borderWidth1
borderStylesolid

目录

3、用户导入的关系数据源为MySQL8.0时,建议先开启load data local配置,再导入数据文件,能够显著提升导入速度。开启load data local配置方法:

在MySQL命令行输入:set global local_infile = 'ON'; 

Image Added

操作入口

入口一

选择系统导航栏的 数据连接 ,进入到“数据连接”界面主菜单,选择 本地数据库 > 文件 ,如图:

Image RemovedImage Added

入口二

在“自助数据集”界面的工具栏,点击 加载文件数据),如图:

入口三

在电子表格设计器中的工具中,点击 导入文件 按钮,如图:

演示示例

新建数据表

下面以加载Excel数据文件、TXT数据文件、CSV数据文件为示例演示如何新建数据表

加载Excel数据文件导入

1、Excel数据文件如下:

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image RemovedImage Added

在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

Image Modified该界面的设置项及相关操作说明请参考界面的设置项及相关操作说明

该界面各设置说明请参见:导入界面各设置项及相关操作说明

4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

预览该表数据如下:

Image Modified

该加载的数据表在对应的物理库中也创建了一张数据表,如下图所示:

Image Modified


加载TXT数据文件导入

1、TXT数据文件如下:

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image RemovedImage Added

在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

该界面的设置项及相关操作说明请参考界面的设置项及相关操作说明

该界面各设置说明请参见:导入界面各设置项及相关操作说明


4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

预览该表数据如下:

加载CSV数据文件导入

1、CSV数据文件如下:

2、上传文件

任选一入口,弹出“加载文件数据”窗口,点击 新建数据表 ,如下图:

Image RemovedImage Added


在该界面可选择文件编码,有“自动”“UTF-8”“GBK”“其他”四种编码方式。其中“自动”意思为当文件类型为csv、txt时,默认为GBK,否则为UTF-8。

3、数据预览与导入

选择上传文件后进入“数据预览与导入”界面,选择导入的数据源、导入表名及其它设置信息后,点击 导入数据 按钮,完成数据导入。

该界面的设置项及相关操作说明请参考加载Excel数据文件导入界面的设置项及相关操作说明

该界面各设置说明请参见:导入界面各设置项及相关操作说明

4、浏览效果

系统提示数据加载完成后,在加载的数据源路径下可以查看到创建的数据表,如下图所示:

预览该表数据如下:

页面的设置项及相关操作说明页面的设置项及相关操作说明界面的设置项及相关操作说明

导入界面的设置项及相关操作说明

设置项说明
导入数据源

选择文件数据导入到高速缓存库、MySQL、Oracle、DB2_V9、MSSQL。

注意

目标数据源选择“MySQL、Oracle、DB2_V9、MSSQL”,需在数据源界面勾选“允许加载Excel数据”。

Image Removed

Image Added


导入表名
输入表名。

指在导入数据库中自动创建表的别名;

仅支持字母、数字、下划线,且不能以数字开头。
导入表别名
数据库表名
输入表别名。

指在导入数据库中自动创建表的名称;

不支持特殊字符:/\\'|\"*?%.><=:;()[]

选择起始行鼠标选中的行作为起始行,此行及之前的数据将不会导入。
文件中无表头数据

勾选文件中无表头数据:导入文件全部数据。

设置数据类型

用于设置导入目标库中各字段的数据类型,如图:

Image Removed

Image Added

设置字段名

点击字段名后面的Image Modified按钮,对字段名进行修改,修改后,点击Image Modified按钮保存修改,点击Image Modified取消修改。

Image Modified


注意

目标数据源为高速缓存库时,不支持中文字段名。


追加数据

下面以加载Excel数据文件、TXT数据文件、CSV数据文件为示例演示如何追加数据

Excel数据文件追加

1、Excel数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加
情况2:新的数据文件追加

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image RemovedImage Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 

起始行选择第一行即可。

该界面各设置项说明如下:

设置项说明数据源

选择新建数据表时确定的数据源。

字段绑定用于绑定数据表字段与导入字段。选择起始行用于确定追加的数据行。清空数据用于清空导入目标库中的数据表数据。


3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

Image Modified


TXT数据文件追加

1、TXT数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加

Image Modified

情况2:新的数据文件追加

Image Modified

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image RemovedImage Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


Image Modified

起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 Image Modified

起始行选择第一行即可。


3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

CSV数据文件追加

1、CSV数据文件追加有如下两种情况:

情况1:在原数据文件中增量追加

Image Modified

情况2:新的数据文件追加

Image Modified

2、追加数据

1)在“加载文件数据”窗口,点击 添加到已有表 ,如下图:

Image RemovedImage Added

2)选择数据表后,进行字段绑定及指定追加的数据设置。两种情况的设置如下:

情况1:在原数据文件中增量追加


Image Modified

起始行选择追加数据所在的上一行即可。(仅适用于数据量少的情况)

(当数据量多的时候增加行不会显示,无需进行寻找)

情况2:新的数据文件追加

 Image Modified

起始行选择第一行即可。

3、浏览效果

在导入目标数据源中找到已追加的数据表,进行数据预览,效果如下:

追加界面各设置项说明

设置项说明
数据源

选择新建数据表时确定的数据源。

字段绑定用于绑定数据表字段与导入字段。
选择起始行用于确定追加的数据行。
清空数据用于清空导入目标库中的数据表数据。


注意

如需对所加载的文件数据设置用户权限可参考文档加载文件数据用户权限说明

注意事项

1、加载本地的数据文件时日期字段自动兼容数据库格式。导入的目标库支持“日期”和“日期时间”两种数据类型,导入时系统自动将日期内容转化为这两种格式。其中,“日期”类型格式为“YYYY-MM-DD”,“日期时间”类型的格式为“YYYY-MM-DD HH:MM:SS”。

2、用户删除加载的数据表时,系统同时自动删除物理表。

3、增量字段的数据类型必须和原表字段保持一致。2、如果是日期类型为“yyyy/MM/dd”格式的数据,则分隔符显示为“-”。

3、用户删除加载的数据表时,系统同时自动删除物理表。

4、增量字段的数据类型必须和原表字段保持一致。