第42页，共344页。 显示 3,435 条结果 (0.033 秒)
大数据量抽取性能优化
1. 应用场景 超大数据量抽取性能无法满足需求，需要优化。 2. 实施步骤 2.1 ETL部署服务器配置 数据抽取性能优化的关键是尽可能多线程并行抽取，多线程就要求有多核cpu，每个线程执行的时候，也需要消耗内存，数据抽取的时候，会有数据落盘，对磁盘容量跟IO性能也有一定要求。总体而言，越高的服务器配置越能优化出更好的性能，如果服务器配置过低，通过调整其它配置，性能优化空间有限。为了保证有一定优化效果，配置要求： CPU 内存 硬盘 8核+ 32G+ 300G+ 2.2 ETL引擎配置 为了最大利用服务器硬件资源，ETL执行引擎需要做下面几个配置： 2.2.1 分配内存 如果不设置，默认3、数据挖掘的Python计算节点集群
Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。 数据挖掘服务引擎如果没有用到这两个功能模块，也可以不用部署python节点 Python计算节点集群环境如下： 服务器IP 主机名 组件实例 部署目录 … firewalld，使配置生效 firewall-cmd --reload 查看防火墙的配置信息 firewall-cmd --list-all 1.1.3. 关闭selinux 临时关闭selinux，立即生效，不需要重启服务器。 setenforce 0 永久关闭selinux，修改完配置后需要重启服务器才能生效 sed恢复知识库
对知识库的数据进行恢复，可以用于知识库迁移。 通过备份操作创建知识库中的数据副本，如果知识库中的数据遭到破坏，用户可以通过恢复操作还原知识库中的数据。 恢复知识库操作必须要当前服务器版本等于或高于备份的知识库的版本。 功能入口 1、选择系统快捷菜单 系统运维 ，或者选择“系统导航栏”的 系统运维 ，如图： 01.png 2、选择“系统运维”界面主菜单 恢复知识库 ，如图： 4.png 弹出“恢复知识库”对话框，如图： 恢复知识库.png 注意事项 1、当进行恢复知识库的服务器产品版本低于备份的backup文件当时的产品版本时，无法进行恢复。 2、因此对知识库进行恢复操作时，建议用户最好在一个空系统中进安全补丁
传安全补丁文件。（当前补丁工具包最新版本为1.0） 安全补丁文件：安全补丁文件中包含了目前我们检测修复的安全漏洞程序。Smartbi会不定期在官网更新安全补丁文件，用户可下载此文件，并直接更新到Smartbi服务器中，已解决已知的一些安全漏洞。 根据实际情况，在官网下载补丁工具包或安全补丁文件，官网如图：https … 到的安装补丁工具包部署到Smartbi应用服务器上。 3、完成部署后，重启Smartbi应用服务器，验证是否安装成功。可在系统监控面板查看是否补丁工具包安装成功： image2020-4-28 13_55_14.png 安装完补丁工具包后，补丁工具包版本已是最新的，接下来 即可。 更新补丁工具包 前提：当前系统关系数据源连接报错排查
一、关系数据源连接基本原理 1.jpeg Smartbi的主服务、OLAP、ETL通过JDBC驱动给数据库服务器发送SQL或者JDBC指令，数据库服务器接收请求后分配资源执行作业并在作业结束后将结果回传给驱动，最后BI调用驱动接口获取结果，执行BI的业务逻辑。整个访问链路的核心是JDBC驱动，它是BI和数据库服务器沟通的桥梁。 二、JDBC驱动介绍 JDBC驱动是Java应用与数据库之间的「翻译器」，负责将Java代码中的SQL请求转换为数据库能理解的语言，并把结果返回给Java程序。BI、OLAP、ETL都是Java应用，对数据库的操作依赖于JDBC驱动。市面上有各种各样的数据库，它们提供的JDBC驱动不尽相同。以获取安装Smartbi License Server
生效 source ~/.bash_profile ③查看java版本信息 java -version 2、部署License Server Linux环境 1、获取SmartbiLicenseServer.tar.gz安装包，并上传到服务器，解压安装包到指定路径。 tar -zxvf … 在Smartbi所在服务器的IP和MAC无法固定时，可通过Smartbi的LicenseServer来统一管理授权，Smartbi从licenseserver上获取授权许可。 LicenseServer所在服务器的IP和MAC必须固定。 Licence Server安装包请联系Smartbi官方支持安装Smartbi（tomcat中间件）
tar.gz包即可。 31.png tomcat版本要求使用最新版本，可以降低中间件的安全漏洞风险。 ②在oracle官网下载64位的jdk安装包 ③创建Smartbi知识库，知识库字符集编码请指定GBK或UTF-8。 在数据库服务器上创建一个空库，作为Smartbi的知识库。 Smartbi支持的知识库版本信息，请 … Smartbi主体应用程序，核心程序，必须安装。 服务器推荐配置： Smartbi 8核+ 16G+ 200GB+ 1. 环境准备 ①在apache官网下载tomcat安装包 tomcat8 官方下载地址：https://tomcat.apache.org/download-80.cgi部署Smartbi数据挖掘引擎/SmartbiETL
selinux，修改完配置后需要重启服务器才能生效 sed -i 's/=enforcing/=disabled/g' /etc/selinux/config 1.2 安装Java环境 2025年3月1号以后的Smartbi数据挖掘/ETL版本，可以支持 jdk8，jdk11，jdk17版本 解压jdk到指定目录 … ： 提供模型预测服务给第三放系统调用 数据挖掘执行引擎和服务引擎可部署在同一台服务器中，也可以分开部署在不同服务器中。 数据挖掘数据量2000万、15个并发任务时以下时，只需要提升数据挖掘服务器配置即可 1、系统环境准备 配置防火墙，selinux相关操作，需要管理员权限。 1.1 防火墙配置 为了便于单节点安装部署
： image2023-5-25_17-49-7.png 1.1.2网络环境检查 利用ping和telnet的方法无法准确判断是否连通，请务必按照本教程来检查。 网络环境检查要确保Smartbi服务器和NLA服务器双向访问正常。 首先确认NLA服务器是否可以连通Smartbi服务： curl -L <http|https>://<Smartbi地址> 出现如下信息则在NLA服务器访问Smartbi服务是正常的。 image2023-5-15_9-32-41.png 同理需要在Smartbi安装的服务器上确认AIChat的服务是否连通： curl -L <http|https>://<AIChat服务地址> 出现如下信息则在Smartbi服务器访问Smartbi 前后端分离部署_nginx方案
Smartbi V11版本支持前后端分离部署。 本文档主要是使用nginx的缓存（proxy_cache）功能，把静态资源缓存到nginx服务器，提升smartbi的性能。 前后端分离部署简化模式架构图 image2025-5-19_17-24-6.png 如上图，使用nginx，即做负载均衡，也做缓存服务器。 外部网络的客户端，通过nginx，把请求转发到内网的smartbi的服务器，smartbi响应请求后，由nginx先缓存静态资源，然后再返回给到外部网络的客户端。后续客户端访问smartbi的资源，静态资源会优先从nginx获取，降低内部网络smartbi节点的资源消耗。 部署说明 后端服务器部署
