job中执行每行

WBOY
WBOYオリジナル
2016-06-07 16:02:211119ブラウズ

job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j

job中执行每行

有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
\

生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。

\
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。

\

\

子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
\

下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。