찾다

집  >  기사  >  데이터 베이스  >  MySQL을 위한 여러 조각 모음 솔루션

MySQL을 위한 여러 조각 모음 솔루션

WBOY
WBOY앞으로
2022-07-20 14:26:306496검색

이 기사에서는 조각 모음 솔루션과 관련된 문제, 즉 대량의 데이터를 삭제한 후 공간이 해제되지 않는 문제를 해결하는 mysql에 대한 관련 지식을 함께 살펴보겠습니다. 모든 사람에게 도움이 되기를 바랍니다.

MySQL을 위한 여러 조각 모음 솔루션

추천 학습: mysql 비디오 튜토리얼

MySQL의 여러 조각 모음 솔루션 요약(대량의 데이터를 삭제한 후 공간이 해제되지 않는 문제를 해결하기 위해)

1. 배경 지식?

1.1 조각이 존재하는 이유는 무엇입니까? ?

  1. MySQL의 삽입과 업데이트 모두 페이지 분할을 일으킬 수 있으므로 조각화가 존재합니다.

    INNODB의 최소 물리적 저장 단위는 페이지이며, 잦은 페이지 분할로 인해 페이지가 불규칙하게 채워질 수도 있습니다. , 따라서 최종 데이터는 조각화됩니다.

  2. 삭제 문은 실제로 데이터를 표시하고 연결 목록에 기록하여 공백을 형성합니다.

    InnoDB에서는 일부 행이 삭제되면 이러한 행은 인덱스에서 물리적으로 삭제되지 않고 "삭제됨"으로 표시만 되므로 공간이 실제로 해제되거나 회수되지 않습니다. InnoDB의 Purge 스레드는 이러한 쓸모 없는 인덱스 키와 행을 비동기적으로 정리합니다.

  3. 삽입 작업을 수행할 때 MySQL은 공백을 사용하려고 시도하지만 특정 공백이 적절한 크기의 데이터로 채워지지 않고 여전히 완전히 채워지지 않으면 조각화됩니다.

  4. 요약; :

    1. 테이블에 대한 추가, 삭제, 수정 작업을 수행하면 데이터 홀이 발생할 수 있습니다. 테이블에 대해 많은 추가, 삭제, 수정 작업을 수행할 경우 데이터 홀이 발생할 가능성이 상대적으로 높습니다.

    2. MySQL이 데이터를 삭제하는 몇 가지 상황과 디스크 공간 해제 여부:

      1. drop, truncate는 Innodb이든 MyISAM이든 상관없이 디스크 공간을 즉시 해제합니다.
      • truncate 테이블은 실제로 다음과 약간 유사합니다. 테이블을 삭제한 다음 생성합니다. 예를 들어 테이블 구조 파일이 이전에 이미 존재하는 등 테이블 생성 프로세스가 최적화되었을 뿐입니다. 따라서 속도는 테이블 삭제 속도에 가까워야 합니다.
      1. delete from table_name은 테이블의 모든 데이터를 삭제합니다. MyISAM의 경우 디스크 공간이 즉시 해제됩니다(특별히 처리되어야 하며 이는 보다 합리적입니다.) ), InnoDB는 디스크 공간을 해제하지 않습니다. ;
      2. xxx; 조건부 삭제에서 innodb나 MyISAM은 디스크 공간을 해제하지 않습니다.
      3. 삭제 작업 후 테이블_이름 최적화를 사용하면 디스크 공간이 즉시 해제됩니다. innodb이든 myisam이든 상관없습니다. 따라서 디스크 공간 해제 목적을 달성하기 위해서는 삭제 후 테이블 최적화 작업을 수행해야 합니다.
      4. 테이블에서 삭제 후에도 디스크 공간은 해제되지 않지만, 다음에 데이터를 삽입할 때 이 공간을 계속 사용할 수 있습니다.

1.2 조각화로 인한 문제

  • MySQL이 데이터를 스캔할 때 스캔하는 개체는 실제로 목록의 용량 요구 사항의 상한선입니다. 이는 데이터가 있는 영역의 최고 위치입니다.

  • MySQL 데이터베이스의 테이블이 여러 번 삭제, 업데이트 및 삽입되면 테이블 공간이 조각화됩니다. 정기적으로 테이블스페이스 조각 모음을 수행하고 조각화를 제거하면 테이블스페이스 액세스 성능이 향상될 수 있습니다.

  • 이러한 조각화는 저장 비용을 증가시킬 뿐만 아니라 데이터 조각화로 인해 테이블의 스캔 효율성도 감소시킵니다.

  • 조각 조각 모음을 수행하지 않으면 오랜 시간 동안 디스크 공간을 차지하여 디스크 사용량이 점점 더 높아질 수 있습니다.

2. 잔해물은 어떻게 청소하나요?

문제를 해결하기 위한 전제 조건은 먼저 문제를 찾아서 올바른 치료법을 처방하는 것입니다.

2.1 테이블의 조각화 상태를 확인하세요

  1. 데이터베이스의 조각난 각 테이블 보기

    mysql> select concat('optimize table ',table_schema,'.',table_name,';'),data_free,engine from information_schema.tables where data_free>0 and engine !='MEMORY';
+-----------------------------------------------------------+-----------+--------+
| concat('optimize table ',table_schema,'.',table_name,';') | DATA_FREE | ENGINE |
+-----------------------------------------------------------+-----------+--------+
| optimize table abc.t_user_answer;                    		|   2097152 | InnoDB |
| optimize table mysql.time_zone_transition;                |   4194304 | InnoDB |
| optimize table mysql.time_zone_transition_type;           |   4194304 | InnoDB |
| optimize table mysql.user;                                |   4194304 | InnoDB |
。。。。

  2. 지정된 테이블의 조각화 상태 보기

     mysql> show table status like 't_user'\G
 *************************** 1. row ***************************
            Name: t_user
          Engine: InnoDB
         Version: 10
      Row_format: Dynamic
            Rows: 4333
  Avg_row_length: 589
     Data_length: 2555904
 Max_data_length: 0
    Index_length: 2719744
       Data_free: 4194304
  Auto_increment: NULL
     Create_time: 2021-11-19 10:13:31
     Update_time: 2022-04-20 14:28:42
      Check_time: NULL
       Collation: utf8mb4_general_ci
        Checksum: NULL
  Create_options:
         Comment:
 1 row in set (0.00 sec)

    Data_free: 4194304는 조각화 바이트 수를 나타냅니다. 데이터 테이블을 자주 삭제하면 Data_free 레코드가 많이 삭제되거나 가변 길이 필드가 있는 테이블이 수정됩니다.

  3. 가장 심각하게 조각난 테이블 찾기

    SELECT table_schema, TABLE_NAME, concat(data_free/1024/1024, 'M') as data_free
FROM `information_schema`.tables
WHERE data_free > 3 * 1024 * 1024
	AND ENGINE = 'innodb'
ORDER BY data_free DESC

2.2 조각 정리 방법(공간 회수)

공식 문서 참조
MySQL을 위한 여러 조각 모음 솔루션

通常有这几种做法

  1. alter table tb_test engine=innodb; （本质上是 recreate）
  2. optimize table tb_test； （本质上是 recreate，但是在不同创建下会有区别）
  3. ALTER TABLE tablename FORCE (在InnoDB表中等价于 alter table tb_test engine=innodb; )
  4. mysqlcheck 批量表空间优化
  5. gh-ost/pt-osc
  6. pt-online-schema-change （本质上也是 先备份旧表数据，然后 truncate 旧表）

1. alter table tb_test engine=innodb 原理介绍

这其实是一个NULL操作,表面上看什么也不做,实际上重新整理碎片了.当执行优化操作时,实际执行的是一个空的 ALTER 命令,但是这个命令也会起到优化的作用,它会重建整个表,删掉未使用的空白空间.

Running ALTER TABLE tbl_name ENGINE=INNODB on an existing InnoDB table performs a “null” ALTER TABLE operation, which can be used to defragment an InnoDB table, as described in Section 15.11.4, “Defragmenting a Table”. Running ALTER TABLE tbl_name FORCE on an InnoDB table performs the same function.

    MySQL5.6 开始采用 Inplace 方式重建表，Alter 期间，支持 DML 查询和更新操作，语句为 alter table t engine=innodb, ALGORITHM=inplace;之所以支持 DML 更新操作，是因为数据拷贝期间会将 DML 更新操作记录到 Row log 中。

    重建过程中最耗时的就是拷贝数据的过程，这个过程中支持 DML 查询和更新操作，对于整个 DDL 来说，锁时间很短，就可以近似认为是 Online DDL。

    执行过程：

    1、获取 MDL（Meta Data Lock）写锁，innodb 内部创建与原表结构相同的临时文件

    2、拷贝数据之前，MDL 写锁退化成 MDL 读锁，支持 DML 更新操作

    3、根据主键递增顺序，将一行一行的数据读出并写入到临时文件，直至全部写入完成。并且，会将拷贝期间的 DML 更新操作记录到 Row log 中

    4、上锁，再将 Row log 中的数据应用到临时文件

    5、互换原表和临时表表名

    6、删除临时表

2. optimize table xxx；

OPTIMIZE TABLE语句可以重新组织表、索引的物理存储，减少存储空间，提高访问的I/O效率。类似于碎片整理功能。

MySQL可以通过optimize table语句释放表空间，重组表数据和索引的物理页，减少表所占空间和优化读写性能

  1. 使用语法

    OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_n说ame [, tbl_name] …

    • 对于主从架构， LOCAL 参数可以让这个过程不写入 binlog ,这样在主库上执行时就不会同步给从库了
    • 默认情况下，MySQL将OPTIMIZE TABLE语句写入二进制日志，以便它们复制到slave服务器。如果不想写二进制日志，使用命令时加上NO_WRITE_To_BINLOG或LOCAL关键字即可。
    • 使用这个语句需要具有对目标表的SELECT、INSERT权限。

  2. 注意：

    1. 需要有足够的空间才能进行OPTIMIZE TABLE。 (剩余空间必须 > 被 OPTIMIZE 的表的大小)

    2. OPTIMIZE 只对独立表空间(innodb_file_per_table=1)才有用，对共享表空间不起作用。

      对于共享表空间，如果需要瘦身： 必须将数据导出，删除ibdata1，然后将 innodb_file_per_table 设置为独立表空间， 然后将数据导入进来。

    3. 对于InnoDB的表，OPTIMIZE TABLE 的工作原理如下

      对于InnoDB表， OPTIMIZE TABLE映射到ALTER TABLE … FORCE（或者这样翻译：在InnoDB表中等价 ALTER TABLE … FORCE），它重建表以更新索引统计信息并释放聚簇索引中未使用的空间。

      当您在InnoDB表上运行时，它会显示在OPTIMIZE TABLE的输出中，如下所示：
mysql> OPTIMIZE TABLE foo; 
+----------+----------+----------+---------------------------------------+ 
| Table    | Op       | Msg_type | Msg_text                                                          | 
+----------+----------+----------+---------------------------------------+ 
| test.foo | optimize | note     | Table does not support optimize, doing recreate + analyze instead | 
| test.foo | optimize | status   | OK                                                                | 
+----------+----------+----------+---------------------------------------+ 

# 但这个提示语可以忽略，从严格的意义讲，说InnoDB不支持optimize table，其实不太准确。 因为 MYSQL的文档说明了，当INNODB 的表，MYSQL会以 ALTER TABLE force  +  analyze 去执行这个命令(相当于做了recreate和analyze)。 所以最终还是会看到 OK 的状态。 
# https://stackoverflow.com/questions/30635603/what-does-table-does-not-support-optimize-doing-recreate-analyze-instead-me

    4. 对于MYISAM表，OPTIMIZE TABLE 的工作原理：
      1. 如果表已删除或分隔行，就修复该表。
      2. 如果索引页没有排序，就排序它们。
      3. 如果表的统计信息不是最新的(而且修复不能通过对索引进行排序)，就更新它们。

    5. **执行时也可以发现报错： Temporary file write failure. **

      建议参考这片文章：
      Mysql optimize table 时报错 Temporary file write failure. 的解决方案

  3. optimize 语句的官网介绍

    • 如果您已经删除了表的一大部分，或者如果您已经对含有可变长度行的表（含有VARCHAR, BLOB或TEXT列的表）进行了很多更改，则应使用 OPTIMIZE TABLE。

    • 被删除的记录被保持在链接清单中，后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间，并整理数据文件的碎片。

    • 在多数的设置中，您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新，您也不需要经常运行，每周一次或每月一次 即可，只对特定的表运行。

  4. Mysql 5.6 之前 在OPTIMIZE TABLE运行过程中，MySQL会锁定表，5.6之后有了 Online DDL 则大大减少了锁表时间。

3. alter table、analyze table和optimize table区别

  • alter table tb_test engine = innodb；

    • （也就是 recreate）MySQL 5.5以前用Offline的方式重建表，5.6以后用Online的方式重建表；

  • analyze table tb_test ；

    • 重新统计表的索引信息，不会修改数据，不会重建表，整个过程加MDL读

  • optimize table tb_test ；

    • 테이블 xxx = innodb + 분석 테이블 xxx;의 프로세스입니다.

4. OPTIMIZE TABLE 또는 ALTER TABLE xxxx ENGINE= INNODB

  • OPTIMIZE TABLE 또는 ALTER TABLE xxxx ENGINE= INNODB 중 어느 것이 더 낫습니까? 그러나 어떤 경우에는 ALTER TABLE xxxx ENGINE= INNODB가 더 좋습니다.
    • 예: old_alter_table 시스템 변수가 활성화되지 않았습니다.
  • 추가: MyISAM 유형 테이블의 경우 ALTER TABLE xxxx ENGINE= INNODB를 사용하는 것이 OPTIMIZE TABLE보다 확실히 더 좋습니다.

2.3 공식 권장 사항

MySQL에서는 자주(매시간 또는 매일) 조각 모음을 수행하지 말 것을 공식적으로 권장합니다. 일반적으로 실제 상황에 따라 일주일에 한 번 또는 매달 한 번만 조각 모음하면 됩니다. (현재는 매월 오전 4시에 mysql을 정리합니다. 모든 인스턴스에서 테이블 조각화)

추천 학습: mysql 비디오 튜토리얼

위 내용은 MySQL을 위한 여러 조각 모음 솔루션의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명：
이 기사는 csdn.net에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
이전 기사：인덱스 외에 mysql 쿼리를 느리게 만드는 다른 요인은 무엇입니까?다음 기사：인덱스 외에 mysql 쿼리를 느리게 만드는 다른 요인은 무엇입니까?

관련 기사

더보기