比较direct方式使用并行和非并行选项的性能差异。 并行测试 创建测试表 create table sqlldr_paral nologging PARTITION BY HASH (sfzh) (partition p1 tablespace users , partition p2tablespace zdry_tbs2 ) AS SELECT *FROM sfxx2 where 1=2 ; sqlldr_pa
比较direct方式使用并行和非并行选项的性能差异。
并行测试
创建测试表
create table sqlldr_paral
nologging
PARTITION BY HASH (sfzh)
(partition p1 tablespace users , partition p2tablespace zdry_tbs2 )
AS SELECT *FROM sfxx2 where 1=2 ;
sqlldr_paral.ctl
LOAD DATA
INFILE 'd:\flatfile\flatfile.dat'
APPEND
INTO TABLE sqlldr_paral
fields terminated by X'23'
TRAILING NULLCOLS
(zj,
…字段太多省略
cjdwdm)
sqlldr_paral.par
USERID=zdrygk/zdrygk
CONTROL='d:\flatfile\sqlldr_paral.ctl'
DATA='d:\flatfile\flatfile.dat'
LOG='d:\flatfile\sqlldr_paral.log'
DIRECT=true
parallel=true
ERRORS=10000
执行
D:\flatfile>sqlldrparfile=d:\flatfile\sqlldr_paral.par
SQL*Loader: Release 11.2.0.1.0 - Production onMon Jan 7 23:21:42 2013
Copyright (c) 1982, 2009, Oracle and/or itsaffiliates. All rights reserved.
Load completed - logical record count 3022375.
sqlldr_paral.log
Control File: d:\flatfile\sqlldr_paral.ctl
Data File: d:\flatfile\flatfile.dat
BadFile: d:\flatfile\flatfile.bad
DiscardFile: none specified
(Allowall discards)
Number to load: ALL
Number to skip: 0
Errors allowed: 10000
Continuation: none specified
Path used: Direct- with parallel option. -----这里指定了并行选项
Table SQLLDR_PARAL, loaded from every logicalrecord.
Insert option in effect for this table: APPEND
TRAILING NULLCOLS option in effect
Table SQLLDR_PARAL:
3017264Rows successfully loaded.
5111Rows not loaded due to data errors.
0 Rows not loaded because all WHEN clauseswere failed.
0 Rowsnot loaded because all fields were null.
Dateconversion cache disabled due to overflow (default size: 1000)
Partition P1: 1509091 Rows loaded.
Partition P2: 1508173 Rows loaded.
Bind array size not used in direct path.
Column array rows : 5000
Stream buffer bytes: 256000
Read buffer bytes: 1048576
Total logical records skipped: 0
Total logical records read: 3022375
Total logical records rejected: 5111
Total logical records discarded: 0
Total stream buffers loaded by SQL*Loader mainthread: 1301
Total stream buffers loaded by SQL*Loader loadthread: 3901
Run began on Mon Jan 07 23:21:42 2013
Run ended on Mon Jan 07 23:22:18 2013
Elapsed time was: 00:00:35.91
CPU time was: 00:00:25.79
非并行测试
创建测试表
create table sqlldr_nopal
nologging
PARTITION BY HASH (sfzh)
(partition p1 tablespace users , partition p2tablespace zdry_tbs2 )
AS SELECT *FROM sfxx2 where 1=2 ;
sqlldr_nopar.ctl
LOAD DATA
INFILE 'd:\flatfile\flatfile.dat'
APPEND
INTO TABLEsqlldr_nopar
fields terminated by X'23'
TRAILING NULLCOLS
(zj,
…字段太多省略
cjdwdm)
sqlldr_nopar.par
这里删除了并行选项
USERID=zdrygk/zdrygk
CONTROL='d:\flatfile\sqlldr_nopar.ctl'
DATA='d:\flatfile\flatfile.dat'
LOG='d:\flatfile\sqlldr_nopar.log'
DIRECT=true
ERRORS=10000
执行
D:\flatfile>sqlldrparfile=d:\flatfile\sqlldr_nopar.par
SQL*Loader: Release 11.2.0.1.0 - Production onMon Jan 7 23:20:54 2013
Copyright (c) 1982, 2009, Oracle and/or itsaffiliates. All rights reserved.
Load completed - logical record count 3022375.
sqlldr_nopar.log
Control File: d:\flatfile\sqlldr_nopar.ctl
Data File: d:\flatfile\flatfile.dat
BadFile: d:\flatfile\flatfile.bad
DiscardFile: none specified
(Allowall discards)
Number to load: ALL
Number to skip: 0
Errors allowed: 10000
Continuation: none specified
Path used: Direct ----这里只是指定了直接路径加载
Table SQLLDR_NOPAR, loaded from every logicalrecord.
Insert option in effect for this table: APPEND
TRAILING NULLCOLS option in effect
Table SQLLDR_NOPAR:
3017264Rows successfully loaded.
5111Rows not loaded due to data errors.
0 Rows not loaded because all WHEN clauseswere failed.
0 Rowsnot loaded because all fields were null.
Dateconversion cache disabled due to overflow (default size: 1000)
Partition P1: 1509091 Rows loaded.
Partition P2: 1508173 Rows loaded.
Bind array size not used in direct path.
Column array rows : 5000
Stream buffer bytes: 256000
Read buffer bytes: 1048576
Total logical records skipped: 0
Total logical records read: 3022375
Total logical records rejected: 5111
Total logical records discarded: 0
Total stream buffers loaded by SQL*Loader mainthread: 1301
Total stream buffers loaded by SQL*Loader loadthread: 3901
Run began on Mon Jan 07 23:20:54 2013
Run ended on Mon Jan 07 23:21:28 2013
Elapsed time was: 00:00:33.81
CPU time was: 00:00:25.32
分析
|
Load Mode |
Elapsed time(ss.99) |
|
Direct |
33.81 |
|
Direct + parallel |
35.91 |
笔者做了多次试验，除了第一次消耗时间较长（因为表空间自动拓展），后面的实验中两种模式的用时大致相同。自己猜测在使用Direct 直接路径加载的情况下，多线程并不能提高效率。
在Util中找到关于sql*loader command line的描述
PARALLEL(parallel load)
Default: false
PARALLELspecifies whether direct loads canoperate in multiple concurrent sessions
to load data into the same table.
parallel这个参数用来设定使用direct loads的时候是否使用并发的session去加载数据到相同的表中。
于是测试了多文件，多session加载数据的情况。
D:\flatfile>sqluldr2 user=zdrygk/zdrygk@orclquery=sfxx2 degree=8 file=d:\flatfile\ldrfiles%t.dat field=0x23 size=300MB
0rows exported at 2013-01-08 00:07:26, size 0 MB.
output file d:\flatfile\ldrfiles1357574846.dat closed at 707972 rows,size 304 MB.
output file d:\flatfile\ldrfiles1357574861.dat closed at 697498 rows,size 604 MB.
output file d:\flatfile\ldrfiles1357574876.dat closed at 701379 rows,size 904 MB.
output file d:\flatfile\ldrfiles1357574891.dat closed at 692556 rows,size 1204 MB.
222868rows exported at 2013-01-08 00:08:31, size 1300 MB.
output file d:\flatfile\ldrfiles1357574906.dat closed at 222868 rows,size 1300 MB.
一共5个文件。
多文件并行测试
如果指定了parallel选项，sqlldr运行的时候会对表加4级锁，允许多个sqlldr session同时对同一个表执行加载作用。在我们执行了truncate 操作后对表进行并行加载操作。
parallelpar1文件
USERID=zdrygk/zdrygk
CONTROL='D:\flatfile\multifile\paral\sqlldr_paral_1.ctl'
DATA='D:\flatfile\multifile\ldrfiles1357574846.dat'
LOG='D:\flatfile\multifile\paral\sqlldr_paral_1.log'
DIRECT=true
parallel=true
ERRORS=10000
parallel par2、3、4、5的内容大致相同。
在windows下只能打开多个窗口，通过复制粘贴的方法保证并行了。
执行
sqlldrparfile=D:\flatfile\multifile\paral\sqlldr_paral_1.par
sqlldrparfile=D:\flatfile\multifile\paral\sqlldr_paral_2.par
sqlldrparfile=D:\flatfile\multifile\paral\sqlldr_paral_3.par
sqlldr parfile=D:\flatfile\multifile\paral\sqlldr_paral_4.par
sqlldrparfile=D:\flatfile\multifile\paral\sqlldr_paral_5.par
最后得到了5个log文件关键内容：
log1
Run began on Tue Jan 08 01:51:11 2013
Run ended on Tue Jan 08 01:51:21 2013
Elapsed time was: 00:00:09.42
CPU time was: 00:00:06.43
…
中间的几个log文件省略
log5
Run began on Tue Jan 08 01:51:34 2013
Run ended on Tue Jan 08 01:51:38 2013
Elapsed time was: 00:00:03.27
CPU time was: 00:00:02.03
因为最后一个sqlldr session 是最后一个执行结束的，所以需要计算并行sqlldr的执行消耗时间，只需要使用log5中的结束时间减去log1中的开始时间即可。
01:51:38-01:51:11=22秒
因为不是使用程序执行这几个sqlldr程序，复制、粘贴、执行之间会有空隙。真实用时应该比22秒这个数字要小的多。
多文件非并行测试
因为如果没有指定parallel选项，sqlldr运行的时候会对表加6级锁，其他sqlldr session会无法工作，所以只能串行的执行sqlldr操作。在我们执行了truncate操作之后对表进行串行加载操作。
noparallelpar1文件
USERID=zdrygk/zdrygk
CONTROL='D:\flatfile\multifile\nopar\sqlldr_nopar_1.ctl'
DATA='D:\flatfile\multifile\ldrfiles1357574846.dat'
LOG='D:\flatfile\multifile\nopar\sqlldr_nopar_1.log'
DIRECT=true
ERRORS=10000
noparallel par2、3、4、5的内容大致相同。
执行
sqlldrparfile=D:\flatfile\multifile\nopar\sqlldr_nopar_1.par
sqlldr parfile=D:\flatfile\multifile\nopar\sqlldr_nopar_2.par
sqlldrparfile=D:\flatfile\multifile\nopar\sqlldr_nopar_3.par
sqlldrparfile=D:\flatfile\multifile\nopar\sqlldr_nopar_4.par
sqlldrparfile=D:\flatfile\multifile\nopar\sqlldr_nopar_5.par
最后得到了5个log文件关键内容：
log1
Run began on Tue Jan 08 01:47:35 2013
Run ended on Tue Jan 08 01:47:48 2013
Elapsed time was: 00:00:12.61
CPU time was: 00:00:06.92
…
中间的几个log文件省略
log5
Run began on Tue Jan 08 01:48:26 2013
Run ended on Tue Jan 08 01:48:30 2013
Elapsed time was: 00:00:03.68
CPU time was: 00:00:02.01
最后执行时间相加
12.61+ 12.54+ 12.09+ 11.40+ 03.68=52.32秒
总结
|
Load Mode |
Elapsed time(ss.99) |
|
Direct |
52.32 |
|
Direct + parallel |
22 |
sqlldr是cpu密集型的操作，并且多线程，只有在使用多个数据文件，并且开启多个sqlldr session的时候才会有效果。并且效果非常明显。在消耗更多cpu和内存的同时能够给予非常高的效率，在真实情况下与单文件加载相比效率相差有1倍以上。
Python中的SVM实例Jun 11, 2023 pm 08:42 PMPython中的支持向量机（SupportVectorMachine，SVM）是一个强大的有监督学习算法，可以用来解决分类和回归问题。SVM在处理高维度数据和非线性问题的时候表现出色，被广泛地应用于数据挖掘、图像分类、文本分类、生物信息学等领域。在本文中，我们将介绍在Python中使用SVM进行分类的实例。我们将使用scikit-learn库中的SVM模
学习Golang指针转换的最佳实践示例Feb 24, 2024 pm 03:51 PMGolang是一门功能强大且高效的编程语言，可以用于开发各种应用程序和服务。在Golang中，指针是一种非常重要的概念，它可以帮助我们更灵活和高效地操作数据。指针转换是指在不同类型之间进行指针操作的过程，本文将通过具体的实例来学习Golang中指针转换的最佳实践。1.基本概念在Golang中，每个变量都有一个地址，地址就是变量在内存中的位置。
Gin框架中的验证码使用实例Jun 23, 2023 am 08:10 AM随着互联网的普及，验证码已经成为了登录、注册、找回密码等操作的必要流程。在Gin框架中，实现验证码功能也变得异常简单。本文将介绍如何在Gin框架中使用第三方库实现验证码功能，并提供示例代码供读者参考。一、安装依赖库在使用验证码之前，我们需要安装一个第三方库goCaptcha。安装goCaptcha可以使用goget命令：$goget-ugithub
VUE3入门实例：制作一个简单的视频播放器Jun 15, 2023 pm 09:42 PM随着新一代前端框架的不断涌现，VUE3作为一个快速、灵活、易上手的前端框架备受热爱。接下来，我们就来一起学习VUE3的基础知识，制作一个简单的视频播放器。一、安装VUE3首先，我们需要在本地安装VUE3。打开命令行工具，执行以下命令:npminstallvue@next接着，新建一个HTML文件，引入VUE3：<!doctypehtml>
Python中的GAN算法实例Jun 10, 2023 am 09:53 AM生成对抗网络（GAN，GenerativeAdversarialNetworks）是一种深度学习算法，它通过两个神经网络互相竞争的方式来生成新的数据。GAN被广泛用于图像、音频、文字等领域的生成任务。在本文中，我们将使用Python编写一个GAN算法实例，用于生成手写数字图像。数据集准备我们将使用MNIST数据集作为我们的训练数据集。MNIST数据集包含
Python中的VAE算法实例Jun 11, 2023 pm 07:58 PMVAE是一种生成模型，全称是VariationalAutoencoder，中文译作变分自编码器。它是一种无监督的学习算法，可以用来生成新的数据，比如图像、音频、文本等。与普通的自编码器相比，VAE更加灵活和强大，能够生成更加复杂和真实的数据。Python是目前使用最广泛的编程语言之一，也是深度学习的主要工具之一。在Python中，有许多优秀的机器学习和深度
PHP 简单网络爬虫开发实例Jun 13, 2023 pm 06:54 PM随着互联网的迅速发展，数据已成为了当今信息时代最为重要的资源之一。而网络爬虫作为一种自动化获取和处理网络数据的技术，正越来越受到人们的关注和应用。本文将介绍如何使用PHP开发一个简单的网络爬虫，并实现自动化获取网络数据的功能。一、网络爬虫概述网络爬虫是一种自动化获取和处理网络资源的技术，其主要工作过程是模拟浏览器行为，自动访问指定的URL地址并提取所
快速上手Django框架：详细教程和实例Sep 28, 2023 pm 03:05 PM快速上手Django框架：详细教程和实例引言：Django是一款高效灵活的PythonWeb开发框架，由MTV（Model-Template-View）架构驱动。它拥有简单明了的语法和强大的功能，能够帮助开发者快速构建可靠且易于维护的Web应用程序。本文将详细介绍Django的使用方法，并提供具体实例和代码示例，帮助读者快速上手Django框架。一、安装D
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、
AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター
Dreamweaver Mac版
ビジュアル Web 開発ツール
PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール
SecLists
SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。
