MySQL 모니터링 중 테이블 정보를 수집하는 코드에 대한 자세한 설명(그림 및 텍스트)

1. 스토리

지난 1년 동안 도서관의 특정 테이블의 월별 데이터 양 증가에 대해 자주 질문을 받을 수 있습니다. 물론, 테이블을 월 단위로 나누어서 작성하면 더 쉬울 것입니다show table status. 큰 테이블이 하나뿐이라면 모두가 쉬는 외로운 밤에 SQL 통계를 실행해야 할 수도 있습니다. 현재 테이블만 가져옵니다. 정보, 기록 정보는 추적할 수 없습니다.

또한 DBA로서 용량 계획을 위해서는 데이터베이스 공간의 증가도 예측해야 합니다. 우리가 다루고 있는 테이블 정보는 주로 다음과 같습니다.

1. 테이블 데이터 크기(DATA_LENGTH)

2. 인덱스 크기(INDEX_LENGTH)

3. 행 수(ROWS)

4. 현재 자동 증가 값(AUTO_INCREMENT, 있는 경우)

아직 mysql이 모니터링 도구에 이러한 지표를 제공하는 것을 보지 못했습니다. 이 정보는 너무 자주 수집할 필요는 없고, 그 결과는 추정일 뿐 정확하지 않을 수 있으므로, 글로벌하고 장기적인 관점에서 테이블을 모니터링(수집)하기 위함입니다.

이 글에서 소개하려고 쓴 수집 도구는 그룹 내 기존 모니터링 시스템을 기반으로 한다:

• InfluxDB: 시계열 데이터베이스, 스토리지 모니터링 데이터

• Grafana: 데이터 표시 패널

• Telegraf: 정보를 수집하는 에이전트
  telegraf의 최신 MySQL 플러그인을 확인하세요 , 처음에는 매우 기뻤습니다. 테이블 스키마 통계 및 정보 스키마 자동 증가 열 수집을 지원합니다. 시도해 봤는데 데이터가 있지만 앞서 언급했듯이 자체 증가하는 값을 제외하면 다른 모든 것은 추정치입니다. Telegraf의 수집 빈도가 너무 높아 하루에 두 번이면 충분할 것입니다. 🎜> 제공되는 옵션이 코드에서 수정되었습니다. 유일한 방법은 전역 상태 모니터링의 빈도를 줄이는 것입니다. 다만, 다른 모니터링 지표와 두 개의 IntervalSlow 구성 파일으로 분리하고 각각 수집 간격을 정의하면 구현할 수 있습니다.

마지막으로 Python을 사용하여 직접 빌드하고 influxdb에 보고할 계획입니다.)

2. 개념

전체 코드는 다음을 참조하세요. GitHub 프로젝트 주소: DBschema_gather

구현도 매우 간단합니다.
라이브러리의 information_schema 및 COLUMNS 테이블을 쿼리하면 됩니다. TABLES

SELECT
    IFNULL(@@hostname, @@server_id) SERVER_NAME,
    %s as HOST,
    t.TABLE_SCHEMA,
    t.TABLE_NAME,
    t.TABLE_ROWS,
    t.DATA_LENGTH,
    t.INDEX_LENGTH,
    t.AUTO_INCREMENT,
  c.COLUMN_NAME,
  c.DATA_TYPE,
  LOCATE('unsigned', c.COLUMN_TYPE) COL_UNSIGNED
  # CONCAT(c.DATA_TYPE, IF(LOCATE('unsigned', c.COLUMN_TYPE)=0, '', '_unsigned'))
FROM
    information_schema.`TABLES` t
LEFT JOIN information_schema.`COLUMNS` c ON t.TABLE_SCHEMA = c.TABLE_SCHEMA
AND t.TABLE_NAME = c.TABLE_NAME
AND c.EXTRA = 'auto_increment'
WHERE
    t.TABLE_SCHEMA NOT IN (
        'mysql',
        'information_schema',
        'performance_schema',
        'sys'
    )
AND t.TABLE_TYPE = 'BASE TABLE'

에 대해, 현재의 성장이 어디에 있는지 주목하는 것 외에도 auto_increment의 최대값과 비교하여 여유 공간이 얼마나 되는지에도 관심이 있습니다. 그래서 int / bigint 컬럼은 현재 사용되는 비율을 저장하기 위해 계산되었습니다. autoIncrUsage

그런 다음 InfluxDB의 Python 클라이언트를 사용하여 일괄적으로 influxdb에 저장합니다. InfluxDB가 없으면 결과는

json으로 인쇄됩니다. 이는 Zabbix 및 Open-Falcon과 같은 모니터링 도구에서 일반적으로 지원되는 형식입니다.

마지막 단계는 Grafana를 사용하여 influxdb 데이터 소스에서 그래프를 그리는 것입니다.

3. 사용법

1. 환경

   Python 2.7 환경에서 작성되었으며, 2.6과 3.x는 테스트되지 않았습니다.
   

을 실행하려면 두 개의 라이브러리

및 MySQLdb가 필요합니다. influxdb

$ sudo pip install mysql-python influxdb

1. 구성

   
   구성 파일settings_dbs.py

2. 
   

• : 목록에는 수집해야 하는 MySQL 인스턴스 테이블 정보가 저장됩니다. 주소, 포트, 사용자 이름, 비밀번호DBLIST_INFO테이블을 선택하려면 권한이 필요합니다. 그렇지 않으면 해당 정보를 볼 수 없습니다.
  

• : influxdb 연결 정보는 데이터베이스 이름을 미리 InfluxDB_INFOmysql_info 생성하고
  로 설정하세요. 출력 결과는 json이 될 수 있습니다.None

• 데이터베이스와 스토리지를 생성해 주세요. influxdb 전략

  2년간 보관, 1개의 복제본 세트: (필요에 따라 조정)
  

  CREATE DATABASE "mysql_info"
  CREATE RETENTION POLICY "mysql_info_schema" ON "mysql_info" DURATION 730d REPLICATION 1 DEFAULT

다음과 유사한 큰 정보 보기:

1. 넣기 crontab 실행

   은 모니터링에 사용되는 서버에 별도로 배치할 수도 있지만, 프로덕션 환경에서는 안전상의 이유로 mysql 인스턴스가 위치한 호스트에서 실행하는 것을 권장합니다.
   

일반적으로 도서관에서는 야간에 데이터 마이그레이션 작업을 진행합니다. 마이그레이션 전후에

를 실행하여 수집할 수 있습니다. 너무 자주 권장되지는 않습니다. mysql_schema_info.py

40 23,5,12,18 * * * /opt/DBschema_info/mysql_schema_info.py >> /tmp/collect_DBschema_info.log 2>&1

1. 차트 생성

프로젝트 아래

를 Grafana 패널로 가져옵니다. 효과는 다음과 같습니다. grafana_table_stats.json

테이블 데이터 크기 및 행 수

1회당 행 수 증가 일, 자동 증가 사용량

4. 더보기

1. 서브 데이터베이스 및 테이블의 경우 autoIncrUsage 테이블에서 전역 고유 ID를 계산할 수 없습니다

2. 실제로 Simple을 구현하는 것은 매우 어렵습니다. 무엇보다 중요한 것은 이러한 정보 수집에 대한 인식을 일깨우는 것입니다

3. Graphite 출력 형식을 추가할 수 있습니다

위 내용은 MySQL 모니터링 중 테이블 정보를 수집하는 코드에 대한 자세한 설명(그림 및 텍스트)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!