数据装载工具(ETL)设计(Extract Transform Load)

处理部分工作流程为：首先选定源数据库即（预处理库），选定目的数据库即（采购交接库，加工库），然后选择装库规则（预先定义好的Adaptor配置文件）最后设置日志信息。在此阶段可直接选择已定义的模板进行设置。

完成以上两部分设置后则最终将数据文件内容按照指定的规则导入到目标数据库中。

以上过程仅仅只是做了整个装库过程的配置步骤说明，在实际装库操作中可直接选择装库模板，此模板为包括每个阶段模板的总模板。可直接选择此模板进行所有各阶段的装库设置，之后点击确定进行装库操作。

4．功能实现

系统在装入数据文件时采用外部格式统一方式，选用相应的数据格式解释器（Parser）并设置其转换规则将不同格式的数据文件统一转换成同一种数据格式。之后可将设置内容保存为文件格式转换模板进行保存。

将经过格式转换的数据文件导入系统后对数据文件的各段内容与预处理数据库字段之间进行映射操作。并为预处理数据库字段的字段类型进行指定。映射操作中支持字段合并及字段拆分和字段截取操作，分别用符号“+”、“方向箭头”、“subString(字符串开始位置，截取字符数量)来对标识及对对应的操作进行支持。

字段映射操作后，对字段内容进行过滤，过滤操作实现了将指定字段内容进行替换、删除、判断如果等于某个值就替换为某值、如果不等于某值就替换为某值操作。过滤字段（为所有可选择的字段）、字段内容（字段内容的某个值或整个字段）另外还支持将日期格式“04/12/2004”转换成“2004/04/12”等日期格式转换操作。

对字段内容进行过滤后指定源数据库（预处理库）及目的数据库（采购交接库及加工库）并设置装库日志列表，指定装库规则后选择确定，系统自动将对源数据库及目的数据库的设置，装库日志信息修改到Adaptor预先定义好的模板文件的相应位置，并调用后台Adaptor引擎进行装库操作。

Adaptor引擎在执行时将自己封装成一个进程，前台系统通过监测该进程的状态判断装库进度。Adaptor引擎在执行装库操作时将日志信息及装库操作的一些信息写到相应数据表中，前台系统监测执行装库任务的进程开始后便可到相应数据表中取出装库操作信息（已经装入的记录条数）及装库日志到前台显示。从而实现装库过程监视功能。

上一页  [1] [2] [3] [4] [5] [6] 下一页

进入问吧