Maison > Article > développement back-end > Partage de code implémenté en Python pour un script qui vide la base de données IP innocente
Nous avons souvent besoin d'utiliser les données de la base de données Innocence IP pour l'analyse au travail. L'article suivant présente principalement comment utiliser Python pour implémenter un dump de la base de données Innocence IP. Il est utile à tout le monde. . Il a une certaine valeur de référence et d’apprentissage. Les amis qui en ont besoin peuvent y jeter un œil ci-dessous.
Avant-propos
J'ai déjà écrit de nombreux articles sur l'analyse des scripts, mais je n'ai jamais écrit sur l'endroit où j'ai obtenu mon segment IP d'analyse. viennent souvent poser des questions sur leur expérience de numérisation. Pour être honnête, je pense que cet outil n'a pas de contenu technique réel, mais il peut améliorer l'efficacité du travail, je le partagerai donc avec tout le monde ~
En ce qui concerne l'expérience de numérisation. , I Les individus choisissent généralement différents types de segments pour différents appareils et applications.
Par exemple, la cible que je scanne est un modem optique de télécommunication. Naturellement, je choisis le segment IP de China Telecom. Les modems optiques sont généralement des utilisateurs domestiques. Nous filtrons les segments IP actifs des utilisateurs domestiques. peut les cibler le sexe.
Pour un autre exemple, si je souhaite maintenant analyser un périphérique de routage d'entreprise, je peux alors choisir un segment avec de nombreuses entreprises.
Innocent IP est vraiment un bon outil. Je l'utilise habituellement pour rechercher des segments IP dans une certaine région. Cependant, cet outil a un défaut très fatal, c'est-à-dire qu'il ne peut pas requête conjointe, ce qui rend C'est très ennuyeux, et chaque fois que j'utilise ce truc, je dois changer pour gagner. Pour une personne Linux comme moi, c'est naturellement intolérable, alors j'ai simplement écrit un moyen de transférer les innocents. IP vers le script Base de données MySQL , vous n'avez donc pas besoin d'aller gagner à chaque fois que vous interrogez, et vous pouvez également le déployer directement sur la télécommande. La chose la plus importante est. pour prendre en charge les requêtes multi-conditions.
Exigences
L'écriture de ce script en Python n'est pas techniquement difficile Il utilise principalement la bibliothèque MySQLdb Concernant l'installation Je n'entrerai pas dans les détails du codage. Cela peut être facilement réalisé avec quelques méthodes simples#!/usr/bin/env python # coding=utf-8 # kbdancer@92ez.com import MySQLdb import sys reload(sys) sys.setdefaultencoding('utf8') def save_data_to_mysql(mysql_object, ip_line): try: begin = ip_line[0:16].replace(' ', '') end = ip_line[16:32].replace(' ', '') try: location = line[32:].split(' ')[0] except: location = '' try: isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('\n', '').replace('\r', '') except: isp_type = '' this_line_value = [begin + "-" + end, location, isp_type] do_insert(mysql_object, this_line_value) except Exception, e: print e def do_insert(mysql_object, row_data): try: insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )""" mysql_object.insert(insert_sql, row_data) except Exception, e: print row_data print e class Database: host = 'localhost' user = 'ipdb' password = '3u9whrpcEUBTnNNn' db = 'ipinfo' charset = 'utf8' def init(self): self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset) self.cursor = self.connection.cursor() def insert(self, query, params): try: self.cursor.execute(query, params) self.connection.commit() except Exception, e: print e self.connection.rollback() def query(self, query, params): cursor = self.connection.cursor(MySQLdb.cursors.DictCursor) cursor.execute(query, params) return cursor.fetchall() def del(self): self.connection.close() if name == 'main': mysql = Database() ip_file = open(sys.path[0] + "/ip.txt") print 'Start save to mysql ...' for line in ip_file: save_data_to_mysql(mysql, line) ip_file.close() print 'Save complete.'
Remarque<.> Il y a un problème de performances ici, c'est-à-dire que lors du parcours de toutes les données, vous devez effectuer l'opération de
insertion de données dans labibliothèque L'efficacité de l'insertion d'une seule ligne. est très faible. Il est recommandé d'utiliser l'insertion sur plusieurs lignes, comme l'écriture de CacheArray Lorsque le tableau de cache atteint le nombre d'éléments spécifié, par exemple lorsqu'il atteint 100. éléments, 100 éléments seront stockés dans la base de données à la fois. Cette vitesse est plus rapide que le stockage d'un seul élément. Blogger, je vais creuser un trou ici. J'espère que les amis qui utilisent des scripts pourront le modifier eux-mêmes. Étant donné que le fichier txt exporté depuis la base de données Innocence IP n'est pas un encodage UTF8 standard sans nomenclature, l'analyse directe échouera définitivement. Il est recommandé d'utiliser Notepad++ pour le transcoder en premier
.effet Données originales
Données après transfert
Pour utiliser , vous devez d'abord exporter la base de données IP innocente sous forme de document txt. Ici, je l'exporte sous forme ip.txt.
Ensuite, mettez-le dans le même répertoire du script Py
D'ailleurs, vous devez d'abord avoir une base de données mysql
et puis
de la base de données, qui est le fichier sql
Ensuite il faut modifier le mot de passe de connexion mysql dans le script, etc.
Enfin, exécutez simplement le script Py
Explication
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!