SSIS包如何自动化从文件夹获取XML并上传的流程

雨墨吖_7956

雨墨吖_7956

2026-01-29

360人浏览

原创

SSIS中遍历XML文件需用Foreach File Enumerator,路径用变量动态拼接;结构简单用XML Source,复杂用Script Task解析为DataTable;小数据量用ADO NET Destination并调优BatchSize,大数据量用SqlBulkCopy;异常须在Script Task内捕获,且需检查文件锁。

ssis包如何自动化从文件夹获取xml并上传的流程

SSIS中用For Each Loop遍历XML文件的正确配置

SSIS本身不直接解析XML结构,但能可靠地按文件名批量获取XML文件。关键在For Each Loop Container里选对枚举器类型:必须用Foreach File Enumerator,而非Foreach ADO Enumerator或Foreach Item Enumerator。

常见错误是路径写成硬编码(如C:\Data\*.xml),导致部署到其他服务器失败。应使用SSIS变量+表达式动态拼接:

  • Directory属性设为变量@[User::SourceFolder],该变量值通过配置文件或环境变量注入
  • Files填*.xml,勾选Retrieve file name → Full qualified
  • 在循环体内,用FileSpec变量(如@[User::CurrentXMLPath])传递完整路径给后续任务

XML文件内容读取:Script Task还是XML Source?

如果XML结构固定且简单(如扁平化单层记录),可用XML Source组件配合XSD架构文件;但多数业务XML含嵌套、命名空间或可选字段,这时Script Task更可控。

推荐用C#脚本(.NET Framework 4.7.2+)读取并转为DataTable,避免XML Source因格式微小差异直接报错:

public void Main()
{
    string xmlPath = Dts.Variables["User::CurrentXMLPath"].Value.ToString();
    XmlDocument doc = new XmlDocument();
    doc.Load(xmlPath);
    
    // 示例:提取所有<order>节点下的子元素
    var orders = doc.SelectNodes("//Order");
    DataTable dt = new DataTable();
    dt.Columns.Add("OrderId", typeof(string));
    dt.Columns.Add("Amount", typeof(decimal));
    
    foreach (XmlNode node in orders)
    {
        DataRow row = dt.NewRow();
        row["OrderId"] = node.SelectSingleNode("OrderId")?.InnerText;
        row["Amount"] = decimal.TryParse(node.SelectSingleNode("Amount")?.InnerText, out decimal a) ? a : 0;
        dt.Rows.Add(row);
    }
    
    Dts.Variables["User::ParsedOrders"].Value = dt;
    Dts.TaskResult = (int)ScriptResults.Success;
}</order>

注意:Script Task需在ReadOnlyVariables里声明User::CurrentXMLPath,在ReadWriteVariables里声明User::ParsedOrders。

logos-node
logos-node

在 Linux x86_64 上安装、更新或检查 Logos 区块链测试网验证节点。用于用户需要搭建 Logos 节点时使用。

下载

上传到SQL Server:用ADO NET Destination还是Execute SQL Task?

当解析后数据量不大(单文件<1万行),用ADO NET Destination直连目标表最简;若需事务控制、UPSERT逻辑或目标表有触发器,改用Execute SQL Task配合临时表更稳妥。

性能差异明显:ADO NET Destination默认无批处理,插入10万行可能比BULK INSERT慢3倍以上。此时应:

  • 在ADO NET Connection Manager的连接字符串末尾加;Packet Size=8192;
  • 把BatchSize属性设为5000(不是默认的0)
  • 若用Execute SQL Task,先用SqlBulkCopy写入临时表,再MERGE到主表

错误处理与日志:别只靠Event Handler

SSIS默认Event Handler捕获不到XML解析异常(比如编码错误、非法字符),必须在Script Task内手动捕获并写入日志变量:

try
{
    doc.Load(xmlPath);
}
catch (XmlException ex)
{
    Dts.Events.FireError(0, "XML Parse Error", 
        $"Failed to load {xmlPath}: {ex.Message}", "", 0);
    Dts.Variables["User::LastError"].Value = ex.Message;
    Dts.TaskResult = (int)ScriptResults.Failure;
    return;
}

真正容易被忽略的是文件锁问题:某些系统生成XML时会短暂独占写入,SSIS直接读取会抛System.IO.IOException: The process cannot access the file。解决方案不是重试,而是加前置判断——用Script Task检查文件是否可读(尝试OpenRead后立即Close),不可读则跳过或延时重试。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

5063

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1031

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1329

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

7121

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3763

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

7120

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

9961

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1350

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1172

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebSocket手册
WebSocket手册

共0课时 | 0人学习

HTML5/CSS3/JavaScript/ES6入门课程
HTML5/CSS3/JavaScript/ES6入门课程

共102课时 | 11.2万人学习

前端基础到实战(HTML5+CSS3+ES6+NPM)
前端基础到实战(HTML5+CSS3+ES6+NPM)

共162课时 | 29.2万人学习