第1页,共3页。 显示 30 条结果 (0.646 秒)
数据挖掘-数据的输入和输出
数据源、关系数据源、示例数据源、数据集、数据查询和Excel文件。 文本数据源 概述 文本数据源是指将HDFS读取的csv等数据文件导入到Smartbi中。 image2020-6-4 16:44:2.png 输入/输出 输入 没有输入端口。 输出 只有一个输出端口,用于输出数据到下一节点资源。 参数配置 设置文本数据源的参数: image2020-6-4 17:30:27.png 设置说明如下: 参数 说明 地址 文本数据在HDFS的路径,其中: <host>表示HDFS所在服务器IP地址; <port>表示HDFS端口号; <path>表示文本3、部署Hadoop
目录 创建临时目录 mkdir -p /data/hdfs/tmp 创建namenode数据目录 mkdir -p /data/hdfs/name 创建datanode 数据目录 注意:这个目录尽量创建在空间比较大的目录,如果有多个磁盘,可以创建多个目录 mkdir -p /data/hdfs/data … JAVA_HOME",修改为如下所示(替换成实际环境的路径): export JAVA_HOME=/data/jdk1.8.0_181 h1.png 找到"export HDFS_NAMENODE_OPTS", 在下面添加一行 export HDFS_NAMENODE_OPTS="-XX:+UseParallelGC3、部署Hadoop集群
Hadoop集群节点均需创建Hadoop数据目录 ①创建临时目录 mkdir -p /data/hdfs/tmp ②创建namenode数据目录 mkdir -p /data/hdfs/name ③创建datanode 数据目录 注意:这个目录尽量创建在空间比较大的目录,如果有多个磁盘,可以创建多个目录 mkdir -p /data/hdfs/data 2.4.2.解压Hadoop到指定目录 在管理节点执行(10-10-35-65). tar -zxvf hadoop-3.2.3.tar.gz -C /data 2.4.3.修改Hadoop配置 在管理节点执行(10-10-35-65). ①修改数据挖掘-数据的输入和输出
数据源、关系数据源、示例数据源、数据集、数据查询和Excel文件。 文本数据源 概述 文本数据源是指将HDFS读取的csv等数据文件导入到Smartbi中。 image2020-6-4 16:44:2.png 输入/输出 输入 没有输入端口。 输出 只有一个输出端口,用于输出数据到下一节点资源。 参数配置 设置文本数据源的参数: image2020-6-4 17:30:27.png 设置说明如下: 参数 说明 地址 文本数据在HDFS的路径,其中: <host>表示HDFS所在服务器IP地址; <port>表示HDFS端口号; <path>表示文本【数据挖掘】V9.5升级到V10版本
/data/hadoop-2.7.3/ ./sbin/stop-dfs.sh (2)迁移数据 # 创建备份目录 mkdir -p /data/backups # 迁移数据目录 mv /data/hdfs/ /data/backups # 迁移Hadoop安装目录 mv /data/hadoop-2.7.3/ /data … 2.4.1. 准备hadoop数据目录 创建临时目录 mkdir -p /data/hdfs/tmp 创建namenode数据目录 mkdir -p /data/hdfs/name 创建datanode 数据目录 注意:这个目录尽量创建在空间比较大的目录,如果有多个磁盘,可以创建多个目录 mkdir -p /data自助ETL-节点介绍
%9F%A5%E8%AF%A2%E5%8A%9F%E8%83%BD%E8%8A%82%E7%82%B9-%E6%95%B0%E6%8D%AE%E6%9F%A5%E8%AF%A2 数据查询是指新建或编辑数据模型的私有查询,然后将新建的私有查询转换为表放到高速缓存库中作为数据源。 文本数据源 支持从hdfs中读取 … =contextnavpagetreemode 读取ElasticSearch中的表数据,其中表为二维数据表。 2. 输出(目标源) Smartbi提供了多种方式用于数据的输出,分别是关系目标源(追加)、关系目标源(覆盖)、关系目标源(插入或更新)、导出数据到HDFS等。 名称 使用说明 关系目标源服务引擎
。 10 python插件存储目录 指定python插件的存储目录,使用绝对路径。 11 java插件jar包存储目录 指定java插件的存储目录,使用绝对路径。 12 节点数据hdfs存储目录 使用webhdfs接口,默认使用webhdfs://enginecluster。 webhdfs://enginecluster。 13 节点数据hdfs访问控制列表 控制节点数据hdfs的访问权限。服务引擎
。 10 python插件存储目录 指定python插件的存储目录,使用绝对路径。 11 java插件jar包存储目录 指定java插件的存储目录,使用绝对路径。 12 节点数据hdfs存储目录 使用webhdfs接口,默认使用webhdfs://enginecluster。 webhdfs://enginecluster。 13 节点数据hdfs访问控制列表 控制节点数据hdfs的访问权限。操作权限列表
用于控制在自助ETL中是否拥有“输出”节点下“插入/更新关系表”节点的权限。 追加到HDFS 用于控制在自助ETL中是否拥有“输出”节点下“追加到HDFS”节点的权限。 覆盖到HDFS 用于控制在自助ETL中是否拥有“输出”节点下“覆盖到HDFS”节点的权限。 Python脚本 用于控制在自助自助ETL-节点资源区介绍
%8D%AE%E6%BA%90%E6%96%87%E6%9C%AC%E6%95%B0%E6%8D%AE%E6%BA%90 文本数据源是指将HDFS读取的csv等数据文件导入到Smartbi中。 FTP数据源 https://wiki.smartbi.com.cn/pages/viewpage.action … 用于数据的输出,分别是关系目标源(追加)、关系目标源(覆盖)、关系目标源(插入或更新)、导出数据到HDFS。 名称 使用说明 关系目标源 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=51941725#id-%E6%95%B0%E6