第20页,共72页。 显示 711 条结果 (0.412 秒)
如何在作业流中执行抽取的数据模型?
1 概述 1)作业流和数据模型的抽取是独立分开进行的,但是数据模型的数据依赖于作业流即作业流先抽完,数据模型才能开始抽数,否则会出现数据不正确; 2)作业流执行完了之后数据模型再抽取数据,需要自定义任务(写代码)才能实现,而且非常复杂,耗时耗力; 而在V10.5.8,作业流可以通过拖、拉、拽轻松设置数据模型 … 执行。 设置好依赖关系之后,必须先执行完前面的ETL或者作业流,才会执行”指标模型“。 执行作业流,如果”数据模型“本身存在异常,则会执行失败,并且失败的原因会在运行日志中体现; 如果在执行作业流的过程中,发现执行太久,用户可以直接取消。 3、设置定时任务执行抽取 做好作业流保存,保存成功后,在作业流如何在作业流中检查数据挖掘实验评估节点?
的评估条件accuracy>0.8,当检测满足要求则运行成功,否则就调度银行客户流失预测模型自学习任务更新模型,如果模型自学习任务无法满足条件,则运行失败。 image2023-12-8_14-6-20.png 2.3 查看运行情况 作业流检测挖掘评估成功。 image2023-12-8_14-14-27.png 作业流检测挖掘评估失败。 image2023-12-8_14-14-51.png 2.4 设置定时任务执行作业流 做好作业流保存,保存成功后,在作业流底部菜单设置定时任务,进行定时工作,如下图: 03.png 当作业流资源执行失败,会根据”失败重试机制“的 ”重试间隔“时间重新执行作业流; 如果执行失败如何分析安全类问题
,可用于查找敏感操作(如执行计划任务、创建管理员等),进而定位攻击者的登录信息。 信息收集: 当被攻击后,除上述日志外,还需收集: 产品版本信息、安全补丁版本 Smartbi日志、Tomcat日志、Nginx 的网络请求日志 攻击者上传的文件(如 jsp 文件等) 注意:尽可能收集攻击时间点 … 已知漏洞,尝试在新版本中进行利用。 代码逻辑漏洞研究:部分攻击者会通过研究系统代码逻辑,发现绕过登录的漏洞。 攻击路径溯源 被攻击成功后,需定位攻击路径,确认问题根源,以便采取相应措施。 溯源方式 查看操作日志与产品日志:检查是否有创建、执行计划任务或其他敏感操作,分析相关脚本内容及操作时间升级到V10.5版本后,用户原本可查看的资源无法查看
问题 从V8.5等历史版本升级到V10.5及之后的版本,会发现用户原本可查看的报表、目录、数据集等突然间看不到了。 这是因为在V10.5版本中,升级了权限体系,区分开引用权限和查看权限。详情可参考:【升级注意事项】V8.5➜V10.5 解决方案 在系统中角色、权限配置较简单时,可以采用直接对角色修改资源权限,勾选上资源的“查看”权限来解决。 01.jpg 但是在系统中角色较多、权限配置较复杂时,通过修改角色的资源权限的方案所需要的时间、精力都非常大。那么可以通过脚本方式进行批量修改。 新建任务,类型选择“定制”。拷贝以下脚本,保存任务后执行任务即可。 注:运行前请先备份知识库! importPackage资源权限
配置与管理 计划任务 运维设置-模块配置与管理-计划任务 计划 运维设置-模块配置与管理-计划任务 任务 运维设置-模块配置与管理 流程管理 注意事项 1、内置的角色有:“高级用户角色”、“管理角色”、“普通角色”和“组管理角色”,其中,“管理角色”操作权限不允许修改。 2、系统默认在定制计划时为何要设置"执行用户"?
问题说明 在定制计划界面,有一个设置项是 执行用户,可以选择"任务创建者"或者"特定用户"。我对于计划的理解是系统会自动去执行这个计划,不需要人手工干预。请问为什么还要选择 执行用户 呢? 原因分析 计划是从计划任务服务器调用 SDK 登录 Smartbi 服务器去执行任务的,所以需要选择登录用户。并且由于不同用户有不同的数据权限、操作权限、资源权限等,对相同的报表可能获取的数据不一样。所以选择"特定用户"是有意义的。创建Kettle资源库
Kettle http://community.pentaho.com/projects/data-integration/ 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。资源库有 … 无需用户进行登录,直接进行操作。 当然,资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在xml文件中。为了方便管理,建议用户建立并使用数据库类型资源库Kettle database repository。 点击Tools资源库-连接资源库如何在作业流成使用“检查依赖"字段节点
抽取,以电商为例,用户需要统计分析本月的销售情况,由于销售数据较大,用户希望能够将业务系统中的数据按一定的频率抽取到数据仓库中,同时不能对业务系统造成太大的压力,影响现有业务。假设抽取频率为一天,存在一个ETL任务需要统计处本月截止到现在的销售情况。一般地,可以在创建数据库表时,增加一个额外的时间戳字段,负责抽取任务的ETL通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。为了保证数据的准确性,需要保证本月截止到现在,负责抽取任务的ETL每一天的运行都是正常的,才能执行接下来的统计分析本月截止到现在的销售情况ETL任务。此时,就可以使用“检查依赖”功能。 输入/输出 输入 一个输入端口,用于连接节点监听器使用-Java类
执行监听器 扩展包中编写执行监听器类,实现ExecutionListener接口。 image2021-2-22_10-27-17.png 在流程定义中配置执行监听器类,其中【Java类】中需要填写执行监听器的类全限定名。 image2021-2-22_10-29-11.png 任务监听器 扩展包中编写执行监听器类,实现TaskListener接口。 image2021-2-22_10-32-23.png 在流程定义中配置任务监听器类,其中【Java类】中需要填写任务监听器的类全限定名。 image2021-2-22_10-33-26.png 扩展包示例: 注意事项安装包组件说明
Python,用于数据挖掘执行python计算任务 如不需要执行Pyhon计算任务,可不安装 Smartbi组件具体说明可查看Smartbi⬝ 安装组件介绍 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=114987429