应用场景
很多api取数接口,往往数据量比较大,不可能一次性取全量数据,只能按分页进行取数。
取数接口中,参数pageNo 表示页码,参数pageSize表示每页条数
实现思路
大体的思路是通过作业流的循环器,循环执行按页取数etl,每次循环,都会把循环序号(每循环一次,序号就加1)传给etl的pageNo参数,这样就可以循环到所有页数据,直到获取不到数据为止。
新建etl
新建一个etl,取名为分页获取数据
设置etl 分页参数
...
很多api取数接口,往往数据量比较大,不可能一次性取全量数据,只能按分页进行取数。
取数接口中,参数pageNo 表示页码,参数pageSize表示每页条数
大体的思路是通过作业流的循环器,循环执行按页取数etl,每次循环,都会把循环序号(每循环一次,序号就加1)传给etl的pageNo参数,这样就可以循环到所有页数据,直到获取不到数据为止。
新建一个etl,取名为分页获取数据
...