第24页，共87页。 显示 869 条结果 (0.085 秒)
数据挖掘-正则表达式
概述 在处理文本过程中，经常会使用正则表达式去处理，目前ETL正则处理文本功能较弱，多个ETL项目中均有实施人员提到希望增强该功能。 image2023-1-29_13-57-9.png 输入/输出 输入 一个输入端口，用于接收数据集。 输出 一个输出端口，用于输出正则表达式处理后的结果。 参数设置 设置正则表达式处理的参数： image2023-1-29_13-58-56.png 设置说明如下： 参数 说明 选择列 要进行正则表达式处理的列。 正则表达式 要匹配的正则表达式。 输出方式 匹配如何使用作业流中的”检查字段值“节点
‘logs’ 查询出来的status 与值”或“参数值“进行对比，如果能匹配上作业则继续往下执行，如果不匹配则不继续往下执行。 场景说明具体查看：作业流如何识别“外部ETL”跑完状态? https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=92085547 依赖其它系统的数据处理 依赖处理 外部etl 外部调度infobright，数据集抽取后中文显示乱码
（此文档仅供参考） 问题描述 高速缓存库的数据类型为infobright，数据集抽取后中文显示乱码，如图： image2021-9-12_22-38-14.png 此问题凡涉及到需要抽取数据集的均会受影响，如：自助ETL中使用数据集作为数据源。 解决方案 检查高速缓存库的数据库字符集编码是否是latin1 … 高速缓存库字符串连接中设置是同一个，例如：Smartbi中高速缓存库的ip是：10.10.123.123，端口号是：5029，那么在数据库管理工具中连接的test库ip也是：10.10.123.123，端口号是：5029。 自助etl数据集抽取乱码 数据集抽取乱码 抽取乱码备份数据库恢复到新的数据库之后，咨询访问次数表数据丢失
t_ext_reporthot表，t_ext_reporthot是产品内置的扩展包表，知识库备份时不会进行备份， 除此之外，还有t_cluster，t_msg_sendconf，tx_test、t_upgradelock不备份。 t_ext_reporthot的说明请参考链接：内置用户访问明细原理 解决方案： 通过ETL或者数据库工具对未备份的报表进行手动备份迁移；此方案同样适用于当日志表数据量太大，而需要保留历史数据进行分析的情况下，备份知识库时不选择日志表，日志表通过ETL同步或者数据库工具迁移，备份知识库相关日志表参考链接：【内部】备份知识库中备份日志表包含的表 --------------------------------------------------------------------------------------------------------------------------------如何修改挖掘引擎的内存
图： image2022-6-15_11-48-2.png 例如修改成下面的，保存即可： image2022-6-15_11-51-21.png 步骤2：重启引擎 linux： 重启ETL 1 2 cd /opt/smartbi-mining-engine-bin/engine/sbin/ ./experiment-daemon.sh restart 详细可参考此文档：部署ETL windows重启数挖引擎可参考此文档： Windows 部署数据挖掘 注：如未购买数据挖掘模块，可尝试在 \SmartbiEngine\engine\sbin数据模型-表关系区
： “数据源表”类型：每张表对应一个目录，目录名称为数据源表的别名。 “导入文件”类型：每个sheet对应一个目录，目录名称为sheet名称。 “SQL查询”、“即席查询”、“存储过程查询”、“脚本查询”、“ETL高级查询”类型：每一个查询对应一个目录，目录名称为私有查询类型的名称（如“SQL查询”、“即席查询”等）；同一 … 。 该菜单只在表关系区含有两个及以上的模型表时才显示。 转换为ETL高级查询 用于将当前模型表转换成ETL高级查询。 ETL高级查询的详情请参见：ETL高级查询 https://wiki10.smartbi.com.cn/pages/viewpage.action?pageId=69737188【升级注意事项】V9.5➜V10.5
://wiki.smartbi.com.cn/pages/viewpage.action?pageId=55840890 以便在数据模型中使用“ETL高级查询”功能。 2.2 高速缓存库 数据模型依赖于高速缓存库，若目前高速缓存库使用的是SmartbiMPP，则需要将 SmartbiMpp 更新至 21.x及以上版本 … V10.5 将“联机帮助”更名为“帮助文档”。 新增“帮助”入口，并将“帮助文档”放置在“帮助”入口下，同时新增“问题反馈”与“我的反馈”功能。 注意：若曾对【联机帮助】进行过定制处理，依旧存在该入口。 ETL V9.5 ETL界面布局方式为竖版： 00000.png V10.5202409产品更新说明
ETL、仪表盘和即席透视模块的操作体验。例如，SQL查询中新增“执行选中SQL语句”功能，ETL脚本编辑器支持一键收起侧边栏，对仪表盘组件工具栏进行了优化等，所有这些都让操作更加便捷。 3、兼容更多项目环境：我们增强了系统的兼容性，支持统信浏览器、指标存储库新增支持Greenplum数据库，确保在不同环境下都能稳定运行 … ^ SQL查询界面新增“执行选中SQL语句”功能 为方便用户在写SQL查询时快速验证SQL查询的结果，产品在SQL查询界面新增了“执行选中SQL语句”功能，支持选中部分SQL语句执行预览查询结果。 image2024-9-3_15-1-24.png 3.3 自助ETL + Spark Sql脚本编辑器增加侧边收起[小批量功能]-小批量支持自动运行
不支持的数据源Kingbase、Sybase、Other 数据查询 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=69737202#ETL%E9%AB%98%E7%BA%A7%E6%9F%A5%E8%AF%A2%E5%8A%9F%E8%83%BD … image2023-8-25_17-28-24.pngimage2023-8-25_17-30-1.pngimage2023-8-25_17-40-32.png 功能节点 节点使用 etl节点 小批量用户同步
1. 概要说明 用户同步是指有多套系统（包括Smartbi系统）都拥有用户信息，想要当以第三方系统作为统一用户管理平台时，需要将第三方系统的用户同步到Smartbi系统中。 2. 用户同步的几种方法 用户同步方法 方案简述 优点 缺点 通过存储过程或 ETL 同步用户 使用存储过程或 ETL 定时将第三方系统中的用户等信息同步到 Smartbi 用户表中 数据库底层同步用户，速度快 不依赖系统是否启动 支持定时同步 实现难度较大 通过API接口同步用户 在第三方系统中使用 Smartbi 用户管理的远程调用接口实现用户等信息的同步 可监听
