页面树结构
转至元数据结尾
转至元数据起始


1、系统环境准备

注意事项

自助ETL功能,是数据挖掘执行引擎功能的一部分,如果已经部署了数据挖掘执行引擎,则不用再单独部署自助ETL。

1.1 防火墙配置

温馨提示

配置防火墙,selinux相关操作,需要管理员权限。

为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用服务相关端口。

1. 关闭防火墙

临时关闭防火墙(立即生效)

systemctl stop firewalld

永久关闭防火墙(重启后生效)

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

2. 开启防火墙

相关服务及端口对照表:

服务名

需要开放端口

ETL

8899

如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启端口:8899

firewall-cmd --zone=public --add-port=8899/tcp --permanent

配置完以后重新加载firewalld,使配置生效

firewall-cmd --reload

查看防火墙的配置信息

firewall-cmd --list-all

3.关闭selinux

临时关闭selinux,立即生效,不需要重启服务器。

setenforce 0

永久关闭selinux,修改完配置后需要重启服务器才能生效

sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config

1.2 安装Java环境

 安装包解压到/opt目录

tar -zxvf jdk8.0.202-linux_x64.tar.gz -C /opt

配置java环境变量
①执行 vi ~/.bash_profile 在文件末尾添加java环境变量参数,并保存

export JAVA_HOME=/opt/jdk8.0.202-linux_x64 
export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

②使配置生效

source ~/.bash_profile

③查看java版本信息

java -version

2、部署ETL

温馨提示

1、安装部署,启动ETL等,可以使用普通用户权限进行操作。

2、部署过程中用普通用户操作,则后续的所有运维操作等,都需要用普通用户来执行。如果切换其他用户操作,可能会因为权限问题导致服务启动失败。

3、ETL的端口配置如果小于1024,也需要管理员权限才能启动ETL服务。

2.1 部署ETL

1、解压ETL安装包到指定的安装目录

tar -zxvf SmartbiMiningEngine-V10.0.64186.21183.tar.gz -C /opt

2、启动数据ETL

cd /opt/smartbi-mining-engine-bin/engine/sbin/ 
./experiment-daemon.sh start

温馨提示

用户可以根据自己机器的配置设置运行内存,修改文件/opt/smartbi-mining-engine-bin/conf/engine-env.sh

#引擎进程初始堆内存大小,默认为5G

EXPERIMENT_ENGINE_XMS=5G

#引擎进程最大堆内存大小,默认为5G

EXPERIMENT_ENGINE_XMX=5G

2.2 测试ETL

① 登录smartbi,检查配置

“系统运维”-“数据挖掘配置”-“执行引擎”,如图所示,配置“系统api地址”,替换成实际Smartbi地址,保存

“系统运维”-“数据挖掘配置”-“引擎设置”,如图所示,检查ETL连接地址,点击测试连接,提示成功即可。

温馨提示

如果smartbi部署的是集群,则“系统运维”-“数据挖掘配置”-“执行引擎”-系统api地址”,替换成实际负载均衡(proxy)地址。

②打开数据准备-自助ETL-新建自助ETL

参考下图,运行自助ETL,提示运行成功即可

2.3运维操作

启动/重启/查看ETL

cd /opt/smartbi-mining-engine-bin/engine/sbin 
./experiment-daemon.sh restart     #重启ETL 
./experiment-daemon.sh stop        #停止ETL 
./experiment-daemon.sh status      #查看ETL运行状态

2.4设置开机启动

温馨提示

配置ETL开机启动,需要管理员权限。

进入/etc/init.d目录,创建ETL启动配置文件

vi /etc/init.d/mining-engine

配置参考如下:

#!/bin/bash
#
# tomcat startup script for the mining-engine server
# chkconfig: 345 80 20
# description: start the mining-engine deamon
#
# Source function library
. /etc/rc.d/init.d/functions
 
prog=mining-engine
JAVA_HOME=/opt/jdk8.0.202-linux_x64      #注意替换成实际的JAVA部署路径
export JAVA_HOME
CATALANA_HOME=/opt/smartbi-mining-engine-bin/engine/      #注意替换成实际的ETL部署路径
export CATALINA_HOME
 
case "$1" in
start)
    echo "Starting mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh start
    ;;
 
stop)
    echo "Stopping mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh stop
    ;;
 
restart)
    echo "Stopping mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh stop
    sleep 2
    echo
    echo "Starting mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh start
    ;;
 
*)
    echo "Usage: $prog {start|stop|restart}"
    ;;
esac
exit 0

设置开机启动

chmod +x /etc/init.d/mining-engine    #添加执行权限 
chkconfig mining-engine on            #添加到开机启动 
chkconfig --list                      #查看开机启动服务列表


  • 无标签