第12页，共87页。 显示 865 条结果 (0.033 秒)
通过API获取数据
及代码示例可参考 添加 Java 查询 文档。此方案适用于对 Java 开发较为熟悉的用户，通过编写 Java 代码实现个性化的数据交互逻辑。 方案3：自助ETL与ETL高级查询 可通过自助 ETL 工具或数据模型中的 ETL 高级查询功能，结合 API 取数节点获取数据。具体配置与操作流程，可参考 自助 ETL-API 取数 和 循环分页取数 文档。该方案提供可视化操作界面，无需复杂代码编写。image2025-6-18_16-33-32.png 3 数据抽取策略 非实时数据抽取: 若对数据实时性要求不高，推荐采用全量抽取策略。完成首次数据抽取后，可在系统中设置定时任务，按照预设周期（如每日、每周）自动更新数据，确保数据测试工具
基本原理 在ETL中调用AICHART的API，执行问句，并比对预置的结果数据，将比对结果信息写入数据库，仪表盘展现。 注意：该工具推荐由熟悉Smartbi产品的人员使用，例如实施人员；不推荐业务用户使用 安装配置 1、下载并导入资源 自动化测试资源.xml 资源说明 【nla_test】：关系数据源，推荐Mysql，用于保存测试结果数据 【NLA_log】：MongoDB数据源，连接NLA中内置的记录日志的MongoDB 【冒烟测试】：ETL资源，从Excel文件读取用例，由大模型比对测试运行的结果和点赞结果，测试结果数据写入【nla_test】 【点赞测试】：ETL资源，从【NLA_log操作权限列表
流的权限。 作业流 定时任务 用于控制是否有定时任务的权限。 源库SQL脚本 用于控制是否有源库SQL脚本的权限。 ETL自动化 用于控制是否拥有ETL自动化操作的权限。 自助ETL 用于控制是否拥有新建自助ETL的权限。 自助ETL 输入 数据集 用于控制在自助ETL中是否拥有“输入”节点下“数据集”节点的权限。 文本数据源 用于控制在自助ETL中是否拥有“输入”节点下“文本数据源”节点的权限。 FTP/SFTP数据源 用于控制在自助ETL中是否拥有“输入”节点下“FTP/SFTP数据源”节点的权限。 数据查询 用于控制在自助ETL中是否拥有“输入202312产品更新说明
了ETL数据接入和数据输出的类型，包括：mongodb、elasticsearch、阿里云MaxCompute、API取数等。 增强ETL数据处理能力，包括：合并行节点新增集合运算、 支持XML解析等。 2.3 仪表盘增强 新增指标拆解树图表组件，新增多选输入筛选器组件 增强表格组件，包括显示序号、分页控件、表格 … 表、事实表和数据模型，都可以作为独立的资源通过资源导入导出的方式进行资源迁移。 zhibiaomoxing-01.png 3.4 自助ETL + 新增数据接入和数据输出的类型 为了满足更多项目的场景，在新版本中，自助ETL支持更多的数据源和目标数据源类型。 新增支持的数据库：TiDB、PanWeiDB202405产品更新说明
。 3、增强ETL数据处理能力，满足更多项目需求，如ETL新增循环API节点、ETL目标表支持星环数据库holodesk格式等。 4、方便运维管理，提高运维效率，如缓存库连接支持指定Schema，表结构检查增加检测内容并支持一键修复、支持仅备份恢复部分知识库表等。 3 详细更新内容 3.1 数据准备 ^ 高速缓存 … 为了方便用户使用，产品不同目录支持存在相同的字段别名，但自然语言无法正确识别语义。为了确保自然语言精准解析，新版本中支持对数据模型设置是否允许字段等跨目录重名。 008.png 3.2 自助ETL ^ ETL目标表支持星环数据库holodesk格式 星环数据库9.3推出了新一代湖仓集存储格式holodesk202506产品更新说明
过滤层级数据；仪表盘组件全面统一使用新版排序逻辑，支持多字段与分区排序。 2、数据治理效率显著提升 ETL高级查询支持动态抽取，确保实时数据可用性。 优化数据模型保存、多维引擎查询性能，提升系统响应速度，保障业务稳定运行。 数据模型校验新增“一键修复”功能，自动清理三类“脏数据”，降低运维成本 … 知识复用率。 多选下拉筛选器支持日期控件模式，解决离散日期选择效率问题。 私有企业微信集成插件，满足内网环境安全对接需求。 3 详细更新内容 +表示新增，^表示增强，<表示变更。 3.1 数据准备 ^ ETL高级查询支持查询动态抽取 之前版本中，数据模型中的“ETL高级查询”不支持查询动态如何在作业流成使用“检查依赖"字段节点
销售数据较大，用户希望能够将业务系统中的数据按一定的频率抽取到数据仓库中，同时不能对业务系统造成太大的压力，影响现有业务。假设抽取频率为一天，存在一个ETL任务需要统计出本月截止到现在的销售情况。一般地，可以在创建数据库表时，增加一个额外的时间戳字段，负责抽取任务的ETL通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。为了保证数据的准确性，需要保证本月截止到现在，负责抽取任务的ETL每一天的运行都是正常的，才能执行接下来的统计分析本月截止到现在的销售情况ETL任务。此时，就可以使用“检查依赖”功能。 输入/输出 输入 一个输入端口，用于连接节点。 输出 一个输出端口，根据检查结果判断202404产品更新说明
、多选输入框控件适配支持Web电子表格。 3、增强自助ETL使用的稳定性，保证数据处理过程顺利完成，如ETL引擎支持主备高可用、API取数节点支持失败重试配置等。 4、适配国产数据库，满足更多数据查询和写入的场景，如新增适配CirroData 数据库、高速缓存库支持StarRocks、Excel文件数据导入兼容 … 大力提倡信息技术自主创新的大背景下，高速缓存库兼容适配国产开源数据库StarRocks。StarRocks在海量数据处理与实时分析领域，以及数据处理的安全性、高效性和可控性等都有明显优势，可以为用户提供更加灵活和高效的数据处理方案。详情可查看：高速缓存库。 03.png 3.2 自助ETL ^ ETL引擎支持主备高明道云数据源
计划任务: 生成对应的自助ETL,每天定时从明道与获取数据到高速缓存库; 可以设置1天更新一次或者多天更新一次，取决于客户的业务要求； 保存成之后，后台会异步调用第一次全量抽取数据； 该调度是增量抽取数据的计划，默认从第二天开始，每天0点执行，可自行修改调度时间. 自动生成的自助etl信息不能删除和修改 … 的schema和表 2.验证是否部署成功：打开自动生成的ETL，能运行正常或者有错误日志，代表部署成功. 1.如果手动运行了自动生成的ETL，没有显示成功，可能是由于没有重启启动挖掘引擎 2.如果是先加载扩展包，然后直接连接了明道云数据源，再去部署挖掘引擎，想要手动重新执行自动生成的计划任务或ETL，并修改ETL数据挖掘-参数设置
。 image2021-9-23_19-17-33.png 2、在公共空间针对本ETL定义一个参数，具体如何配置，参考公共设置-参数定义 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=44499166，下图是配置好的参数示例。 点击参数定义.png 参数配置 … 使用参数来实现增量抽取。 1、首先连接好数据源和目标源节点。 增量.png 2、在参数定义中编写sql获取当天的日期。 增量1.png 2、返回到ETL界面中，把刚刚新建的参数定义在ETL里。 增量2.png 增量3.png 3、在关系目标源中的SQL语句编辑框中填写如图的内容，即可抽取前三天至今新增
