In Python implementierte Codefreigabe für ein Skript, das die unschuldige IP-Datenbank speichert

Wir müssen die Daten in der Innocence IP-Datenbank häufig für die Analyse bei der Arbeit verwenden. Der folgende Artikel stellt hauptsächlich vor, wie man Python verwendet, um einen Dump der Innocence IP-Datenbank zu implementieren . Es hat einen gewissen Referenz- und Lernwert. Freunde, die es brauchen, können einen Blick darauf werfen.

Vorwort

Ich habe schon viele Artikel über Scan-Skripte geschrieben, aber ich habe noch nie darüber geschrieben, woher ich mein Scan-IP-Segment habe Ich komme oft, um nach ihrer Scan-Erfahrung zu fragen. Ehrlich gesagt denke ich, dass dieses Tool keinen eigentlichen technischen Inhalt hat, aber es kann die Arbeitseffizienz verbessern, also werde ich es mit allen teilen~

Wenn es um die Scan-Erfahrung geht , I Einzelpersonen wählen normalerweise unterschiedliche Arten von Segmenten für unterschiedliche Geräte und Anwendungen.

Das Ziel, das ich scanne, ist natürlich das IP-Segment von China Telecom. Optische Modems sind im Allgemeinen Heimanwender kann sie gezielt ansprechen.

Als weiteres Beispiel: Wenn ich jetzt ein Unternehmens-Routing--Gerät scannen möchte, dann kann ich ein Segment mit vielen Unternehmen auswählen.

Innocent IP ist wirklich ein gutes Tool. Ich verwende es normalerweise, um nach IP-Segmenten in einer bestimmten Region zu suchen. Dieses Tool hat jedoch einen sehr schwerwiegenden Nachteil, nämlich dass es keine gemeinsame Abfrage, was es sehr nervig macht, und jedes Mal, wenn ich dieses Ding benutze, muss ich wechseln, um zu gewinnen. Für einen Linux-Menschen wie mich ist das natürlich unerträglich, also habe ich einfach einen Weg geschrieben, das Unschuldige zu übertragen IP-to-MySQL-Datenbank-Skript, sodass Sie nicht jedes Mal, wenn Sie eine Abfrage durchführen, die Abfrage durchführen müssen. Das Wichtigste ist um Abfragen mit mehreren Bedingungen zu unterstützen.

Anforderungen

Das Schreiben dieses Skripts in Python ist technisch nicht schwierig. In Bezug auf die

-Installation wird verwendet MySQLdb-Bibliothek Ich werde nicht viel mehr sagen, ich habe bereits verwandte Artikel in meinem Blog geschrieben. Hier müssen wir zunächst die Datendateistruktur der Innocence IP-Datenbank analysieren und feststellen, dass die Struktur jeder Zeile tatsächlich festgelegt ist, sodass das Schreiben einfach ist.

Ich werde nicht näher auf die Codierung eingehen. Dies lässt sich leicht mit ein paar einfachen Methoden erreichen.

#!/usr/bin/env python
# coding=utf-8
# kbdancer@92ez.com

import MySQLdb
import sys

reload(sys)
sys.setdefaultencoding('utf8')


def save_data_to_mysql(mysql_object, ip_line):
 try:
  begin = ip_line[0:16].replace(' ', '')
  end = ip_line[16:32].replace(' ', '')
  try:
   location = line[32:].split(' ')[0]
  except:
   location = ''
  try:
   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '')
  except:
   isp_type = ''

  this_line_value = [begin + "-" + end, location, isp_type]
  do_insert(mysql_object, this_line_value)
 except Exception, e:
  print e


def do_insert(mysql_object, row_data):
 try:
  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""
  mysql_object.insert(insert_sql, row_data)
 except Exception, e:
  print row_data
  print e


class Database:
 host = 'localhost'
 user = 'ipdb'
 password = '3u9whrpcEUBTnNNn'
 db = 'ipinfo'
 charset = 'utf8'

 def init(self):
  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)
  self.cursor = self.connection.cursor()

 def insert(self, query, params):
  try:
   self.cursor.execute(query, params)
   self.connection.commit()
  except Exception, e:
   print e
   self.connection.rollback()

 def query(self, query, params):
  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)
  cursor.execute(query, params)
  return cursor.fetchall()

 def del(self):
  self.connection.close()


if name == 'main':
 mysql = Database()
 ip_file = open(sys.path[0] + "/ip.txt")
 print 'Start save to mysql ...'
 for line in ip_file:
  save_data_to_mysql(mysql, line)
 ip_file.close()
 print 'Save complete.'

Hinweis

Hier liegt ein Leistungsproblem vor, das heißt, beim Durchlaufen aller Daten müssen Sie den Vorgang des

Einfügens von Daten in die -Bibliothek ausführen ist sehr niedrig. Es wird empfohlen, mehrzeilige Einfügungen zu verwenden, z. B. das Schreiben von CacheArray, wenn das Cache-Array beispielsweise 100 erreicht 100 Elemente werden gleichzeitig in der Datenbank gespeichert. Diese Geschwindigkeit ist viel schneller als das Speichern eines einzelnen Elements. Blogger, ich werde hier ein Loch graben. Ich hoffe, dass Freunde, die Skripte verwenden, es selbst ändern können.

Da es sich bei der aus der Innocence IP-Datenbank exportierten TXT-Datei nicht um eine standardmäßige BOM-freie UTF8-Kodierung handelt, wird die direkte Analyse definitiv fehlschlagen. Es wird empfohlen, sie zuerst mit Notepad++ zu transkodieren

Wirkung

Originaldaten

Daten nach Übertragung

Um

zu verwenden, müssen Sie zunächst die unschuldige IP-Datenbank als TXT-Dokument exportieren. Hier exportiere ich sie als ip.txt

Dann legen Sie es in das gleiche Verzeichnis des Py-Skripts

Übrigens müssen Sie zuerst eine MySQL-Datenbank haben

und dann

importieren Sie die Datenbankstruktur , also die SQL-Datei

Dann müssen Sie das MySQL-Verbindungspasswort im Skript usw. ändern.

Zum Schluss führen Sie einfach das Py-Skript aus

Erklärung

Das obige ist der detaillierte Inhalt vonIn Python implementierte Codefreigabe für ein Skript, das die unschuldige IP-Datenbank speichert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!