解决DB2接口文件到Oracle无法导入问题的解决历程

从DB2主机往Oracle主机发送接口文件，接口文件的数据总是缺失一部分，导致CRM系统无法看到相应的营销活动。于是你说我没传接口文

前几天触点营销平台出了点问题，请同事帮忙处理，结果两天过去了，还是没定位到问题。
临近春节，还是要把问题解决掉的，今天忙碌了一上午总算解决这个问题
从DB2主机往Oracle主机发送接口文件，接口文件的数据总是缺失一部分，导致CRM系统无法看到相应的营销活动。
于是你说我没传接口文件，我说你没法处理接口文件，其实也很容易处理，关键是一个扯字，呵呵，看下接口文件是否在服务器上以及是否与两端的数据库一致即可。
好不容易厘清了接口文件问题，又扯到接口文件本身内容的问题，从接口机上看到的文件部分内容是乱码，且存在回车换行问题。
又开始了新一轮的测试，其实两端都应该测试接口文件能否正常入库，在DB2上测试数据的导出和导入都是正常的，那接口主机上看到的乱码是什么情况呢？估计数行字节太长，导致无法全部展示，所以系统把部分中文字符给分割了，导致看到的文件内容是乱码。
在DB2上的测试很简单，导出数据，，加载数据，展示数据即可。
export to u:/IW3001test0001.AVL of del modified by coldel0x01 nochardel striplzeros decplusblank
select * from hnwangbq.yingxiaoan;
create table hnwangbq.test
(
sale_act_id varchar(20),
sale_act_name varchar(50),
act_begin_date varchar(20),
act_end_date varchar(20),
data_time varchar(20),
sale_act_script varchar(500),
sms_script varchar(500),
sale_act_type varchar(20)
);
import from u:/IW3001test0001.AVL of del modified by coldel0x01 nochardel decplusblank
insert into hnwangbq.test;
select * from hnwangbq.test;
在DB2上处理的一切都很正常，接下来测试在Oracle上的导入。
没办法只得重新安装了一下Oracle和PL/SQL Developer，创建新表。
create table hnwangbq.test
(
sale_act_id varchar2(20),
sale_act_name varchar2(50),
act_begin_date varchar2(20),
act_end_date varchar2(20),
data_time varchar2(20),
sale_act_script varchar2(500),
sms_script varchar2(500),
sale_act_type varchar2(20)
);
通过PL/SQL Developer的Text importer进行导入测试，发现报错是字段行太短，接下来继续查看发现Oracle把几条记录给合并到一条记录中了
为什么出现这种情况呢，发现行中存在"双引号情况，Oracle把"双引号作为列的Quote character，所以把两个"双引号中的内容作为一个字段了
于是通过replace函数把"双引号改为'单引号，再次测试，搞定
不过在生产环境的测试又出现问题了，还是出现错误，经过阅读shell脚本发现Oracle是通过SQLLDR进行接口文件加载的，我也通过SQLLDR进行了测试，控制文件如下：
LOAD DATA                                                         
INFILE 'd:\IW3001test0001.AVL'                                     
REPLACE INTO TABLE test         
FIELDS TERMINATED BY X'01'  OPTIONALLY ENCLOSED BY '"' 
trailing nullcols                                                 
(SALE_ACT_ID  ,                                                   
SALE_ACT_NAME  ,                                                   
ACT_BEGIN_DATE ,                       
ACT_END_DATE  ,                       
DATA_TIME      ,                       
SALE_ACT_SCRIPT ,                                                   
SMS_SCRIPT    ,                                                   
SALE_ACT_TYPE                                                     
) 
发现也是报错误，错误的原因在加载日志中，错误信息如下：
记录 1: 被拒绝 - 表 TEST 的列 SALE_ACT_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 3: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 8: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 11: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
。。。
记录 42: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
表 TEST:
 27 行 加载成功。
 由于数据错误, 15 行 没有加载。
 由于所有 WHEN 子句失败, 0 行 没有加载。
 由于所有字段都为空的, 0 行 没有加载。
通过百度搜索了一下，发现其他人也有同样的问题，问题的原因在Oracle的SQLLDR在缺省的情况下对字符串的处理是CHAR(255)，而部分字段的列显然超过了255个字节，于是修改了一下控制文件。
LOAD DATA                                                         
INFILE 'd:\IW3001test0001.AVL'                                     
REPLACE INTO TABLE test         
FIELDS TERMINATED BY X'01'  OPTIONALLY ENCLOSED BY '"' 
trailing nullcols                                                 
(SALE_ACT_ID  ,                                                   
...                     
SALE_ACT_SCRIPT char(2000),                                                   
SMS_SCRIPT  char(2000),
其实解决方案不外乎两个，一个方法是在数据源侧上进行控制，一个方法是在加载侧进行不停的测试和完善。

问题的解决之道无它，无非是测试+测试而已，有时候看似解决了一个问题，另外一个问题又出来了，问题的根源在于不停的探索。
其实探索也是一种乐趣。