新建etl
新建一个etl,取名为分页获取数据
设置etl 分页参数
点击etl工具栏参数设置按钮进行设置
给etl 设置一个页码参数
配置api 取数接口
拖api取数节点到etl 图中,然后点击api配置按钮,配置如下图
给接口设置上pageNo(页码)跟pageSize(每页条数) url参数,pageNo参数的参数值使用参数替代符表示(如红框所示),实际执行的时候,会使用真正参数值替换掉
执行api取数节点,返回json数据,如下图
JSON数据解析
把JSON解析节点拖入etl图中
JSON解析节点配置
JSON节点选择,就是配置json数据到表格数据转换的映射关系,只需要选择需要的JSON节点。
配置好后,执行JSON解析节点,结果如下:
注:这个数据随着页码不同,数据也不同,特别是number是随着页码递增的。
编辑元数据
由于把JSON数据解析后,字段的数据类型都是字符串类型,如果要把数据写到目标表的时候,需要把字段数据类型改为跟目标表字段数据类型一致
把数据写入目标表
配置如下
至此,按分页取数ETL配置已经完成
新建作业流
新建作业流,起名为循环分页获取数据
配置作业流循环器
把循环器节点拖入作业流图中
配置循环器
循环资源:选择上面建好的分页获取数据的etl
循环序号起始值:循环器有循环序号,每循环一次,这个值就加1,这里设置循环序号起始值,这个可以当做参数传递给循环的资源
循环序号参数映射:就是设置循环序号跟循环资源的参数映射,表示循环序号会传给循环资源的哪个参数,这里设置传给etl 的pageNo参数,真正执行的时候,会把循环序号替换为pageNo参数值
循环间隔时间(秒):表示每循环一次,间隔多长时间在进行下一次循环
退出条件:表示只要满足其中一个条件,就退出循环。这里配置成循环的资源执行失败后就退出。按分页去获取数据,如果到最后没有数据了,会造成写入目标表失败,便会退出循环