从Export DMP文件看导出字符集-MySQL 튜토리얼-php.cn

집

데이터 베이스

MySQL 튜토리얼

从Export DMP文件看导出字符集

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 03:10 PM

수

Oracle从10g开始，正式推出了新一代数据逻辑备份还原工具Data Pump（数据泵），以期替代ldquo;历史悠久rdquo;的Exp/Imp工具。经

Oracle从10g开始，正式推出了新一代数据逻辑备份还原工具Data Pump（数据泵），以期替代“历史悠久”的Exp/Imp工具。经过近10年的发展，依然有不少用户，特别是开发人员，对这对工具有比较强的依赖性。很多开发环境中数据传输依然是使用Exp/Imp进行。

在使用Exp/Imp工具过程中，字符集、版本兼容一致是比较困扰用户的两个重点难点。字符集决定我们导出数据能否正确的导入到目标系统，是否从根本出现乱码故障。版本兼容问题涉及到原系统、目标系统数据库版本、导入客户端和导出客户端版本四个版本问题。Oracle官方MOS上曾经对这个问题用系列的矩阵来描述之前关系和兼容性，但是能记住的朋友实际寥寥。

笔者本篇主要介绍通过Export导出的Dmp文件检查字符集的方法，同时也看出一些字符集使用过程中常见的问题。

1、环境介绍

Endian是操作系统底层技术的一个重要方面。数据传输、设备通信都伴随着源与目标系统之间字符协议的认知。Endian问题所涉及的基础问题是：当通信发生的时候，信息单元（比特、字节、字和双字）以什么样的顺序进行传输。如果双方不统一或者不兼容，根本不可能实现数据的交换解码。

在Oracle领域中，比较常见Endian讨论是在可传输表空间技术上。可传输表空间是目前普遍认为比较快速的数据移植策略，基本上近似于文件直接传输。但是，可传输表空间不能实现跨Endian操作系统的传输操作。

我们在实际中，两种常见的Endian结构，即Big-Endian和Little-Endian。Big-Endian通常为Sparc, PowerPc, PARisc, RS/6000, SGI R4000 systems，经常接触的Unix系统一般为Big-Endian操作系统。Little-Endian系统读写顺序与Big-Endian相反，代表系统为Intel/AMD x86 and Alpha。

不同Endian环境下形成的DMP文件结构是有所不同的。Oracle在操作的时候，兼容两种Endian传输模式。这也就是我们为什么可以方便的在Unix和Linux之间交换传输数据的原因。

通过对DMP文件的直接读取，我们是可以分析看出DMP文件导出过程中使用的字符集配置的。下面通过一系列实验来进行测试：

2、Big-Endian下DMP分析实验

首先我们测试Big-Endian结构。我们选择Unix系统数据库环境。

[oracle@MISDB:~]$uname -a

AIX MISDB 1 6 00F7FCC94C00

我们首先不做任何环境变量设置，观察Export工作行为。

[oracle@MISDB:~]$exp \"/ as sysdba\" owner=scott file=scott_test.dmp

Export: Release 11.2.0.3.0 - Production on Wed Jul 1 18:25:15 2015

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

Export done in US7ASCII character set and UTF8 NCHAR character set

server uses AL32UTF8 character set (possible charset conversion)

About to export specified users ...

. exporting pre-schema procedural objects and actions

. exporting foreign function library names for user SCOTT

. exporting PUBLIC type synonyms

. exporting private type synonyms

. exporting object type definitions for user SCOTT

About to export SCOTT's objects ...

. exporting database links

. exporting sequence numbers

. exporting cluster definitions

. about to export SCOTT's tables via Conventional Path ...

. . exporting table BONUS 0 rows exported

EXP-00091: Exporting questionable statistics.

. . exporting table DEPT 4 rows exported

EXP-00091: Exporting questionable statistics.

（篇幅原因，有省略……）

. exporting statistics

Export terminated successfully with warnings.

注意标红的两个部分：其一是EXP-00091错误提示信息，之前笔者文章中已经对这个错误有过说明，主要是没有设置NLS_LANG环境变量。另一个是标记的US7ASCII字符集参数。

Oracle Export工具的特点是这样，，如果在执行前没有设置NLS_LANG环境变量，就直接取Oracle早期默认字符集US7ASCII作为导出的对象。从数据库中原有的字符集（例如AL32UTF8）都要转化为US7ASCII进行保存。

这样是潜藏着一些问题的：如果没有设置NLS_LANG环境变量，数据导出被整理为US7ASCII格式。一旦数据库中保存的是WE8DEC类型的数据，也会被强制转化为US7ASCII，所有没有对应US7ASCII的字符就会自动被破坏成乱码。

下面，我们从dmp文件中检查字符集。

[oracle@MISDB:~]$ls -l | grep dmp

-rw-r--r-- 1 oracle oinstall 20480 Jul 01 18:25 scott_test.dmp

[oracle@MISDB:~]$cat scott_test.dmp | od -x | head

0000000 0300 0145 5850 4f52 543a 5631 312e 3032

0000020 2e30 300a 4453 5953 0a52 5553 4552 530a

0000040 3430 3936 0a30 0a37 320a 300a 0001 0369

0000060 0367 0001 0000 0000 0000 0000 000e 0020

0000100 2020 2020 2020 2020 2020 2020 2020 2020

0000140 2020 2020 2020 2020 2057 6564 204a 756c

0000160 2031 2031 383a 3235 3a31 3520 3230 3135

0000200 7363 6f74 745f 7465 7374 2e64 6d70 0000

0000220 0000 0000 0000 0000 0000 0000 0000 0000

字符集信息通常在DMP文件头的第二和第三个字节信息进行表示。注意：这个顺序是在Big-Endian操作系统情况下。通常头位信息为：03xx（xx为任意位值）。

0x0001是可以在Oracle中找到对应的取值的。

SQL> select nls_charset_id(value) nls_charset_id, value

2 from v$nls_valid_values

3 where parameter = 'CHARACTERSET'

4 order by nls_charset_id(value);

NLS_CHARSET_ID VALUE

-------------- ----------------------------------------------------------------

1 US7ASCII

2 WE8DEC

（篇幅原因，有省略……）

1865 ZHT16BIG5FIXED

2000 AL16UTF16

247 rows selected

US7ASCII对应的为0x0001，说明导出的文件字符集为US7ASCII。下面我们设置一下NLS_LANG环境变量进行测试。

[oracle@MISDB:~]$export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

[oracle@MISDB:~]$exp \"/ as sysdba\" owner=scott file=scott_test_Set.dmp

Export: Release 11.2.0.3.0 - Production on Wed Jul 1 18:29:43 2015

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

Export done in AL32UTF8 character set and UTF8 NCHAR character set

About to export specified users ...

（篇幅原因，有省略……）

Export terminated successfully without warnings.

查看文件头信息。

[oracle@MISDB:~]$cat scott_test_Set.dmp | od -x | head

0000000 0303 6945 5850 4f52 543a 5631 312e 3032

0000020 2e30 300a 4453 5953 0a52 5553 4552 530a

0000040 3430 3936 0a30 0a37 320a 300a 0369 0369

0000060 0367 0001 0000 0000 0000 0000 0012 0020

0000100 2020 2020 2020 2020 2020 2020 2020 2020

0000140 2020 2020 2020 2020 2057 6564 204a 756c

0000160 2031 2031 383a 3239 3a34 3320 3230 3135

0000200 7363 6f74 745f 7465 7374 5f53 6574 2e64

0000220 6d70 0000 0000 0000 0000 0000 0000 0000

对应位数：0x0369对应AL32UTF8。下面为一些常见字符集的16进制编码。

The values for the most commonly used character sets are below:

Name ID

----------------------

US7ASCII 0x0001

WE8DEC 0x0002

WE8ISO8859P1 0x001f

EE8ISO8859P2 0x0020

SE8ISO8859P3 0x0021

NE8ISO8850P4 0x0022

CL8ISO8859P5 0x0023

AR8ISO8859P6 0x0024

EL8ISO8859P7 0x0025

IW8ISO8859P8 0x0026

WE8ISO8859P9 0x0027

WE8ISO8859P15 0x002e

TH8TISASCII 0x0029

US8PC437 0x0004

WE8ROMAN8 0x0005

WE8PC850 0x000a

EE8PC852 0x0096

RU8PC855 0X009B

TR8PC857 0x009C

WE8PC858 0x001c

WE8PC860 0x00A0

IS8PC861 0x00A1

N8PC865 0x00BE

RU8PC866 0x0098

EE8MSWIN1250 0x00aa

CL8MSWIN1251 0x00ab

WE8MSWIN1252 0x00b2

EL8MSWIN1253 0x00ae

TR8MSWIN1254 0x00b1

IW8MSWIN1255 0x00af

AR8MSWIN1256 0x0230

BLT8MSWIN1257 0x00b3

ZHT16MSWIN950 0x0363

ZHS16GBK 0x0354

ZHT16HKSCS 0x0364

JA16EUC 0x033e

JA16SJIS 0x0340

ZHT16BIG5 0x0361

AL24UTFFSS 0x0366

UTF8 0x0367

AL32UTF8 0x0369

说明：在使用NLS_LANG显示指定字符集合之后，DMP文件中就按照这个编码方式进行组织文件。

下面我们看一下在Little-Endian下的情况是如何的。

更多详情见请继续阅读下一页的精彩内容：

성명

관련 기사

Composite Index와 여러 단일 열 인덱스를 언제 사용해야합니까?Apr 11, 2025 am 12:06 AM

데이터베이스 최적화에서 쿼리 요구 사항에 따라 인덱싱 전략을 선택해야합니다. 1. 쿼리에 여러 열이 포함되고 조건 순서가 수정되면 복합 인덱스를 사용하십시오. 2. 쿼리에 여러 열이 포함되어 있지만 조건 순서가 고정되지 않은 경우 여러 단일 열 인덱스를 사용하십시오. 복합 인덱스는 다중 열 쿼리를 최적화하는 데 적합한 반면 단일 열 인덱스는 단일 열 쿼리에 적합합니다.

MySQL에서 느린 쿼리를 식별하고 최적화하는 방법은 무엇입니까? (느린 쿼리 로그, Performance_schema)Apr 10, 2025 am 09:36 AM

MySQL 느린 쿼리를 최적화하려면 SlowQueryLog 및 Performance_Schema를 사용해야합니다. 1. SlowQueryLog 및 Set Stresholds를 사용하여 느린 쿼리를 기록합니다. 2. Performance_schema를 사용하여 쿼리 실행 세부 정보를 분석하고 성능 병목 현상을 찾고 최적화하십시오.

MySQL 및 SQL : 개발자를위한 필수 기술Apr 10, 2025 am 09:30 AM

MySQL 및 SQL은 개발자에게 필수적인 기술입니다. 1.MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템이며 SQL은 데이터베이스를 관리하고 작동하는 데 사용되는 표준 언어입니다. 2.MYSQL은 효율적인 데이터 저장 및 검색 기능을 통해 여러 스토리지 엔진을 지원하며 SQL은 간단한 문을 통해 복잡한 데이터 작업을 완료합니다. 3. 사용의 예에는 기본 쿼리 및 조건 별 필터링 및 정렬과 같은 고급 쿼리가 포함됩니다. 4. 일반적인 오류에는 구문 오류 및 성능 문제가 포함되며 SQL 문을 확인하고 설명 명령을 사용하여 최적화 할 수 있습니다. 5. 성능 최적화 기술에는 인덱스 사용, 전체 테이블 스캔 피하기, 조인 작업 최적화 및 코드 가독성 향상이 포함됩니다.

MySQL 비동기 마스터 슬레이브 복제 프로세스를 설명하십시오.Apr 10, 2025 am 09:30 AM

MySQL 비동기 마스터 슬레이브 복제는 Binlog를 통한 데이터 동기화를 가능하게하여 읽기 성능 및 고 가용성을 향상시킵니다. 1) 마스터 서버 레코드는 Binlog로 변경됩니다. 2) 슬레이브 서버는 I/O 스레드를 통해 Binlog를 읽습니다. 3) 서버 SQL 스레드는 데이터를 동기화하기 위해 Binlog를 적용합니다.

MySQL : 쉽게 학습하기위한 간단한 개념Apr 10, 2025 am 09:29 AM

MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) 데이터베이스 및 테이블 작성 : CreateAbase 및 CreateTable 명령을 사용하십시오. 2) 기본 작업 : 삽입, 업데이트, 삭제 및 선택. 3) 고급 운영 : 가입, 하위 쿼리 및 거래 처리. 4) 디버깅 기술 : 확인, 데이터 유형 및 권한을 확인하십시오. 5) 최적화 제안 : 인덱스 사용, 선택을 피하고 거래를 사용하십시오.

MySQL : 데이터베이스에 대한 사용자 친화적 인 소개Apr 10, 2025 am 09:27 AM

MySQL의 설치 및 기본 작업에는 다음이 포함됩니다. 1. MySQL 다운로드 및 설치, 루트 사용자 비밀번호를 설정하십시오. 2. SQL 명령을 사용하여 CreateAbase 및 CreateTable과 같은 데이터베이스 및 테이블을 만듭니다. 3. CRUD 작업을 실행하고 삽입, 선택, 업데이트, 명령을 삭제합니다. 4. 성능을 최적화하고 복잡한 논리를 구현하기 위해 인덱스 및 저장 절차를 생성합니다. 이 단계를 사용하면 MySQL 데이터베이스를 처음부터 구축하고 관리 할 수 있습니다.

InnoDB 버퍼 풀은 어떻게 작동하며 성능에 중요한 이유는 무엇입니까?Apr 09, 2025 am 12:12 AM

innodbbufferpool은 데이터와 색인 페이지를 메모리에로드하여 MySQL 데이터베이스의 성능을 향상시킵니다. 1) 데이터 페이지가 버퍼 풀에로드되어 디스크 I/O를 줄입니다. 2) 더러운 페이지는 정기적으로 디스크로 표시되고 새로 고침됩니다. 3) LRU 알고리즘 관리 데이터 페이지 제거. 4) 읽기 메커니즘은 가능한 데이터 페이지를 미리로드합니다.

MySQL : 초보자를위한 데이터 관리의 용이성Apr 09, 2025 am 12:07 AM

MySQL은 설치가 간단하고 강력하며 데이터를 쉽게 관리하기 쉽기 때문에 초보자에게 적합합니다. 1. 다양한 운영 체제에 적합한 간단한 설치 및 구성. 2. 데이터베이스 및 테이블 작성, 삽입, 쿼리, 업데이트 및 삭제와 같은 기본 작업을 지원합니다. 3. 조인 작업 및 하위 쿼리와 같은 고급 기능을 제공합니다. 4. 인덱싱, 쿼리 최적화 및 테이블 파티셔닝을 통해 성능을 향상시킬 수 있습니다. 5. 데이터 보안 및 일관성을 보장하기위한 지원 백업, 복구 및 보안 조치.

See all articles