新建etl
新建一个etl,取名为分页获取数据
设置etl 分页参数
点击etl工具栏参数设置按钮进行设置
给etl 设置一个页码参数
配置api 取数接口
拖api取数节点到etl 图中,然后点击api配置按钮,配置如下图
给接口设置上pageNo(页码)跟pageSize(每页条数) url参数,pageNo参数的参数值使用参数替代符表示(如红框所示),实际执行的时候,会使用真正参数值替换掉
执行api取数节点,返回json数据,如下图
JSON数据解析
把JSON解析节点拖入etl图中
JSON解析节点配置
JSON节点选择,就是配置json数据到表格数据转换的映射关系,只需要选择需要的JSON节点。
配置好后,执行JSON解析节点,结果如下:
注:这个数据随着页码不同,数据也不同,特别是number是随着页码递增的。
编辑元数据
由于把JSON数据解析后,字段的数据类型都是字符串类型,如果要把数据写到目标表的时候,需要把字段数据类型改为跟目标表字段数据类型一致
把数据写入目标表
配置如下
至此,按分页取数ETL配置已经完成