So implementieren Sie die Textdeduplizierung in Python (ohne die ursprüngliche Reihenfolge zu stören)

Dieser Artikel stellt hauptsächlich die Methode von Python vor, um eine Textdeduplizierung zu erreichen, ohne die ursprüngliche Reihenfolge zu stören. Freunde, die dies benötigen, können sich auf den

-Code beziehen, der auch online gefunden wurde und recht ist effizient. , besonders geeignet für die Deduplizierung von Wörterbuchdateien

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名：anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重，不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

Python liest TXT in eine Array-Liste, um es zu deduplizieren, ohne die ursprüngliche Reihenfolge zu stören

####################################################################
#qq:316118740
#BLOG:http://www.php.cn/
# python 读取TXT到数组  列表去重，不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
  try:
    infile = file('admin.txt', 'r')
    xxx = file('admin.txt', 'r')
    for xxx_line in xxx.readlines():
      passlist.append(xxx_line)
    xxx.close()
  except:
    return 0
 
def list_del(): #清空list列表
  try:
    i = 0 #得到list的第一个元素
    while i < len(passlist):
      del passlist[i]
      del list_passwed[i]
  except:
    return 0
 
 
 
###################################### 
 
  global passlist #声明全局变量
  passlist = []  #用户名：anonymous 密码为空
  www_cj(www) #域名拆解
  open_txt()  #TXT导入数组
  #passlist = list(set(passlist))  #python 列表去重
  global list_passwed #列表去重，不打乱原来的顺序
  list_passwed=[]
  for i in passlist:
    if i not in list_passwed:
      list_passwed.append(i)
######################################  遍历数组组合出 密码
  I1 = 0 #得到list的第一个元素
  while I1 < len(list_passwed):
    print "WWWWWWWWWWW",I1
    if I1==len(list_passwed):
      break #退出循环
    I2 = 0 #得到list的第一个元素
    while I2 < len(list_passwed):
      print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
      I2 = I2 + 1 #二层
    I1 = I1 + 1  #一层
######################################

Das Beispiel in diesem Artikel beschreibt, wie Python TXT in ein Array einliest und die Liste nach der Deduplizierung in der ursprünglichen Reihenfolge sortiert. Teilen Sie es als Referenz mit allen.

Das obige ist der detaillierte Inhalt vonSo implementieren Sie die Textdeduplizierung in Python (ohne die ursprüngliche Reihenfolge zu stören). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!