护团队介入。
2.2.2. ETL数据传输
ETL数据传输的功能是将采集端转出且保存到固定目录中的数据文件通过VPN传输到 数据入库端，功能如下：
链接配置：配置远程数据入库端的主机地址、用户以及密码、数据文件存放目录等； 备份策略：数据发送或者接收完成后是否需要备份数据文件以及备份目录； 运行监控：监控数据采集的过程，日志自动保存与输出、报错提醒（邮件\短信等）等 ； 数据发送和接收：负责数据的发送和接收；
2. ETL系统描述
2.1. 总体架构
ETL系统由数据采集端、数据传输（以VPN为载体）、数据入库端三部分构成，三者 的关系如下图所示：
2.2. 构成描述
ETL主要由ETL系统采集端、数据传输、ETL数据入库端三个单元构成，每个单元功能 如下：
2.2.1. ETL系统采集端
即数据采集单元，是数据转出客户端，是与零售商数据库服务器相连的负责采集相关 数据的单元，一方链接数据库，一方链接VPN，如源数据库为多个，则ETL系统采集端部 署多个与源数据库对应。ETL系统采集端功能如下：
2
类别资料
3
零售商内部供应商资料
4
采购订单
5
收货单
6
退货通知单
7
退货单
8
结算通知单
9
分店库存数据
10 分店销售数据
采集要求
每日采集 每日采集 每日采集 每日采集 每日采集 每日采集 每日采集 每日采集 每日采集_shop_日期（年月日） 零售商_采集点_dept_日期（年月日） 零售商_采集点_ supply _日期（年月日） 零售商_采集点_purchase_日期（年月日） 零售商_采集点_mainbase_日期（年月日） 零售商_采集点_retask_日期（年月日） 零售商_采集点_ret_日期（年月日） 零售商_采集点_billhead_日期（年月日） 零售商_采集点_shopstockvalue_日期（年月日） 零售商_采集点_shopsalevalue_日期（年月日）
ETL数据采集与接口规范
第 1 页/共 11页
ETL数据采集与接口规范
目录
1.
文档概述 ..........................................................................................................3
是
内部级别编码
varchar(32)
字符型
是
integer
状态
NOT NULL
整数值
否
DEFAULT 0
清场日期
date
日期型
是
注册区域名称(地级市名
varchar(32)
字符型
是
称)
营业执照号
varchar(32)
字符型
是
工商注册号
varchar(32)
字符型
是
第三方系统ID
varchar(32)
类型
varchar(32) varchar(32) varchar(32)
类型说明 可空否
描述
零售商编码,吉信佳提供,部
字符型
否
署ETL时设置
字符型
否
零售商类别编码
字符型
否
零售商类别名称
名称
bizSupplyID BizstoreID name
中文说明
类型
零售商内部的供应商编 码
varchar(32) not null
零售商编码
varchar(32)
零售商内部的供应商名 varchar(128)
类型说明 可空否
描述
字符型
否
零售商编码,吉信佳提供,部
字符型
否
署ETL时设置
字符型
否
第 6 页/共 11页
address phone fax email
legaler
taxno
enterprisecode
bizscope levelcode
varchar(128) 字符型
是
varchar(32)
法人代表/联系人
NOT NULL
字符型
否
DEFAULT '-'
varchar(128)
纳税号
NOT NULL
字符型
否
DEFAULT '-'
varchar(64)
企业编码(机构代码证) NOT NULL
字符型
否
DEFAULT '-'
经营范围
varchar(128) 字符型
字符型
否
零售商内部供应商编码 varchar(32)
字符型
否
订单的收货地编码
varchar(32)
字符型
否
零售商品类编码
varchar(16)
字符型
否
确认到零售商最小类别编码
采购订单号
varchar(32)
2.2.3. ETL数据入库端
负责接收ETL数据传输单元上传的数据，并且装载到对应的原始数据库中预制的接口 表中，功能如下：
第 4 页/共 11页
ETL数据采集与接口规范
数据采集端注册：对链接到本入库端的采集端进行注册，只接收已经注册的ETL数据 采集端上传的数据文件；
导入文件配置：要导入的文件所在目录、数据文件名、数据文件列分隔符、导出文件 的编码格式；
2.
ETL系统描述 ...................................................................................................3
2.1. 总体架构...................................................................................................................................3 2.2. 构成描述...................................................................................................................................3
status
cleardate areaname registeredno licenseno SourceSysID SourceSupplyID
ETL数据采集与接口规范
称
not null
地址
varchar(255) 字符型
是
电话
varchar(32)
字符型
是
传真
varchar(32)
字符型
是
邮箱
链接配置：配置需要链接的目标数据库的数据库类型、链接的IP地址、数据库用户名 和密码；
脚本编写以及植入：可手工编写SQL语句或存储过程，然后将脚本植入到ETL数据入库 端中；
数据文件接收及装载：接收采集端上传的数据文件，解析并装载到原始数据库； 数据装载策略：设定每个零售商每个采集点每种业务类型的转入周期；设定每种业务 类型的转入顺序，转入时必须按设定的业务类型转入顺序执行，当执行的业务类型文件不 存在时，需进行等待，不允许跳过某种业务类型；同一种业务类型，零售商所有的采集点 数据都采集完成才可开始执行该零售商此种业务类型的转入； 运行监控：监控数据采集的过程，日志自动保存与输出、报错提醒（邮件\短信等）等 ；
2.2.1. ETL系统采集端..................................................................................................3 2.2.2. ETL数据传输 .....................................................................................................4 2.2.3. ETL数据入库端..................................................................................................4
第 5 页/共 11页
3.2. 接口表数据结构
零售商门店资料：
ETL数据采集与接口规范
名称
中文说明
BizstoreID shopid name provincename
零售商编码 在零售商的门店编码 在零售商的门店名称 省份名称
cityname
城市名称
status
门店状态
opendate
开业日期
closedate
第 3 页/共 11页
ETL数据采集与接口规范
基本信息配置：设置零售商（合作伙伴）编码与名称，设置ETL系统采集端编码； 导出文件配置：导出文件的保存路径、数据文件名、数据文件列分隔符、导出文件的 编码格式，目前数据文件默认为文本文件方式； 链接配置：配置需要链接的零售商数据库的数据库类型、链接的IP地址、数据库用户 名和密码；配置对应的ETL系统入库端的链接地址、用户名及密码； 数据集配置：配置需要提取的数据集清单与每种数据集的采集周期（比如年、月、日 等）； 脚本编写及植入：可手工编写数据提取的SQL语句或存储过程，然后将脚本植入到数 据采集单元中； 运行监控：监控数据采集的过程，日志自动保存与输出、报错提醒（邮件\短信等）等 ； 数据打包上传：对已经提取的数据进行加密、打包且上传到数据加载单元； 为保证数据采集的及时性、准确性，需要根据零售商机房环境和数据库种类的不同， 为数据采集单元设计不同的部署方式。 数据采集单元部署在零售商的机房，需要注意以下问题： 根据机房环境，设计如何接入互联网的方案； 数据采集单元通过VPN连入吉信佳数据中心（厦门）的外联区域； 为达到免责目的，数据采集单元务必独立于零售商的硬件设备； 合理设计数据采集单元相对于防火墙的位置； 在一般情况下，采用远程桌面方式执行日常维护；在异常情况下，建议当地的维