무고한 IP 데이터베이스를 덤프하는 스크립트를 위해 Python으로 구현된 코드 공유

업무상 분석을 위해 Innocence IP 데이터베이스의 데이터를 사용해야 하는 경우가 많습니다. 다음 글에서는 주로 Python을 사용하여 Innocence IP 데이터베이스 덤프를 구현하는 방법을 소개합니다. . 특정 참고자료와 학습 가치가 있습니다. 필요한 친구는 아래를 살펴보세요.

서문

이전에 스크립트 스캔에 대한 기사를 많이 썼지만, 스캔 IP 세그먼트를 어디서 얻었는지에 대해서는 쓴 적이 없습니다. 종종 스캐닝 경험에 대해 묻곤 합니다. 솔직히 이 도구에는 실제 기술적인 내용은 없지만 작업 효율성을 높일 수 있으므로 모두가 가지고 놀 수 있도록 공유합니다~

스캐닝 경험에 따르면 개인은 일반적으로 다양한 장치 및 애플리케이션에 대해 다양한 유형의 세그먼트를 선택합니다.

예를 들어 제가 스캔하는 대상은 당연히 China Telecom의 IP 세그먼트를 선택합니다. 광 모뎀은 일반적으로 가정 사용자의 활성 IP 세그먼트를 필터링합니다. 섹스를 타겟팅할 수 있습니다.

또 다른 예로, 이제 기업 라우팅 장치를 검색하려는 경우 여러 기업이 포함된 세그먼트를 선택할 수 있습니다.

Innocent IP는 정말 좋은 도구입니다. 저는 특정 지역의 IP 세그먼트를 검색할 때 주로 사용합니다. 하지만 이 도구에는 공동 쿼리 너무 짜증나고, 이거 쓸 때마다 승리로 바꿔야 하는 저 같은 리눅스 사람은 당연히 참기 힘든 일이라 순진함을 옮기는 방법을 간단하게 썼습니다. IP를 MySQL 데이터베이스 스크립트로 쿼리할 때마다 win으로 갈 필요도 없고, 원격지에 직접 배포할 수도 있다는 점이 가장 중요합니다. 다중 조건 쿼리를 지원합니다.

요구사항

이 스크립트를 Python으로 작성하는 것은 기술적으로 어렵지 않습니다.

설치와 관련하여 주로 MySQLdb 라이브러리를 사용합니다. MySQLdb 라이브러리 더 이상 말하지 않겠습니다. 이전에 블로그에 관련 글을 쓴 적이 있습니다. 여기서 먼저 이노센스 IP 데이터베이스의 데이터 파일 구조를 분석해 각 행의 구조가 실제로 고정되어 있어 작성이 간편하다는 점을 알아내야 한다.

코딩에 대해서는 자세히 설명하지 않겠습니다. 몇 가지 간단한 방법으로 쉽게 구현할 수 있습니다.

#!/usr/bin/env python
# coding=utf-8
# kbdancer@92ez.com

import MySQLdb
import sys

reload(sys)
sys.setdefaultencoding('utf8')


def save_data_to_mysql(mysql_object, ip_line):
 try:
  begin = ip_line[0:16].replace(' ', '')
  end = ip_line[16:32].replace(' ', '')
  try:
   location = line[32:].split(' ')[0]
  except:
   location = ''
  try:
   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '')
  except:
   isp_type = ''

  this_line_value = [begin + "-" + end, location, isp_type]
  do_insert(mysql_object, this_line_value)
 except Exception, e:
  print e


def do_insert(mysql_object, row_data):
 try:
  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""
  mysql_object.insert(insert_sql, row_data)
 except Exception, e:
  print row_data
  print e


class Database:
 host = 'localhost'
 user = 'ipdb'
 password = '3u9whrpcEUBTnNNn'
 db = 'ipinfo'
 charset = 'utf8'

 def init(self):
  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)
  self.cursor = self.connection.cursor()

 def insert(self, query, params):
  try:
   self.cursor.execute(query, params)
   self.connection.commit()
  except Exception, e:
   print e
   self.connection.rollback()

 def query(self, query, params):
  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)
  cursor.execute(query, params)
  return cursor.fetchall()

 def del(self):
  self.connection.close()


if name == 'main':
 mysql = Database()
 ip_file = open(sys.path[0] + "/ip.txt")
 print 'Start save to mysql ...'
 for line in ip_file:
  save_data_to_mysql(mysql, line)
 ip_file.close()
 print 'Save complete.'

참고

여기에는 성능 문제가 있습니다. 즉, 모든 데이터를 순회할 때

라이브러리에 데이터를 삽입하는 작업을 수행해야 합니다. 단일 행 삽입의 효율성은 매우 높습니다. 낮음 캐시 배열이 지정된 항목 수에 도달할 때(예: 100개 항목에 도달한 경우) CacheArray 작성과 같은 다중 행 삽입을 사용하는 것이 좋습니다. 한 번에 100개의 항목이 데이터베이스에 저장됩니다. 이 속도는 단일 항목을 저장하는 것보다 훨씬 빠릅니다. 블로거님, 여기에 구멍을 뚫어보겠습니다. 스크립트를 사용하는 친구들이 직접 수정하는 것은 어렵지 않습니다. Innonce IP 데이터베이스에서 내보낸 txt 파일은 표준 BOM-free UTF8 인코딩이 아니므로 직접 분석은 확실히 실패하므로 먼저 Notepad++를 사용하여 트랜스코딩하는 것이 좋습니다

효과 원본 데이터

이전 후 데이터

을 사용하려면 먼저 무해한 IP 데이터베이스를 txt 문서로 내보내야 합니다. 여기서는 ip.txt로 내보냅니다.

그런 다음 Py 스크립트와 동일한 디렉터리에 넣으세요

그런데 먼저 mysql 데이터베이스

가 있어야 하고 그런 다음

sql 파일인 데이터베이스

구조를 가져옵니다
그런 다음 스크립트 등에서 mysql 연결 비밀번호를 수정해야 합니다.

마지막으로 Py 스크립트를 실행하세요

설명

위 내용은 무고한 IP 데이터베이스를 덤프하는 스크립트를 위해 Python으로 구현된 코드 공유의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!