数据装载工具(ETL)设计(Extract Transform Load)

1.        系统预期

使用图形化界面将外部数据文件装入数据库并按照指定规则将装入的数据添加或替换到目标数据库中。

支持多种格式数据文件。

支持文件装入规则可灵活订制。

支持对指定数据文件内容过滤配置。

实现模板管理。

操作日志记录及日志管理。

装库结果跟踪。

装库过程体现批次概念。

装库过程监视。

2．名词解释

分析器（Parser）--- 用于将不同格式的数据文件转换为统一格式（以某符号包围以某符号分隔的文件格式，例：#content#,#content2#等形式）。

映射（mapping） ---  将数据文件中的各段内容与预处理库中的字段进行对应，在对应过程中支持合并、拆分、字串截取等操作。

过滤（filter）    ---  对指定字段中的内容进行替换、删除、判断不等于某值时替换、判断等于某值时替换等操作。

3．系统描述

系统采用图形界面进行配置，其主要工作流程分为两大部分：分别为预处理部分和处理部分。预处理部分工作流程为：首先将各种格式的数据文件通过预定义的分析器（Parser）进行格式统一转换。根据转换后的数据文件的结构（格式）在系统中生成预处理表(PRD)

[1] [2] [3] [4] [5] [6] 下一页

进入问吧