ホームページ > 記事 > バックエンド開発 > Python3.4.3でtxtテキストを行ごとに読み取り、重複を削除する方法

Python3.4.3でtxtテキストを行ごとに読み取り、重複を削除する方法

不言オリジナル: 2018-05-02 16:17:422855ブラウズ

この記事では主にPython3.4.3でテキストを一行ずつ読み込んで重複を削除する方法を紹介しますので、必要な方は参考にしてください

。ファイルの書き込みに注意すべき問題は次のとおりです:

1. 文字エンコーディング

2. 操作が完了したらすぐにファイル記述子を閉じます

3. いくつかの方法:

#!/bin/python3
original_list1=[" "]
original_list2=[" "]
original_list3=[" "]
original_list4=[" "]
newlist1=[" "]
newlist2=[" "]
newlist3=[" "]
newlist4=[" "]
newtxt1=""
newtxt2=""
newtxt3=""
newtxt4=""
#first way to readline
f = open("duplicate_txt.txt","r+")    # 返回一个文件对象  
line = f.readline()           # 调用文件的 readline()方法 
while line:  
  original_list1.append(line)          
  line = f.readline()  
f.close() 
#use "set()" remove duplicate str in the list
# in this way,list will sort randomly
newlist1 = list(set(original_list1))
#newlist1 = {}.fromkeys(original_list1).keys() #faster 
#rebuild a new txt 
newtxt1="".join(newlist1)
f1 = open("noduplicate1.txt","w")
f1.write(newtxt1)
f1.close()
###################################################################
#second way to readline
for line in open("duplicate_txt.txt","r+"):  
  original_list2.append(line)
newlist2 = list(set(original_list2))
newlist2.sort(key=original_list2.index)         #sort
#newlist2 = sorted(set(original_list2),key=l1.index)  #other way
newtxt2="".join(newlist2)
f2 = open("noduplicate2.txt","w")
f2.write(newtxt2)
f2.close()
###################################################################
#third way to readline
f3 = open("duplicate_txt.txt","r")  
original_list3 = f3.readlines()       #读取全部内容 ，并以列表方式返回 
for i in original_list3:          #遍历去重
  if not i in newlist3:
      newlist3.append(i)
newtxt3="".join(newlist3)
f4 = open("noduplicate3.txt","w")
f4.write(newtxt3)
f4.close()
###################################################################
#fourth way
f5 = open(&#39;duplicate_txt.txt&#39;,"r+") 
try: 
  original_list4 = f5.readlines() 
  [newlist4.append(i) for i in original_list4 if not i in newlist4]
  newtxt4="".join(newlist4)
  f6 = open("noduplicate4.txt","w")
  f6.write(newtxt4)
  f6.close()
finally: 
  f5.close()

結果:

重複排除前:

重複排除後 (順不同):

重複排除後 (順番に):

概要

以下のプログラムには、ファイルの読み取りと書き込みの操作とリンクリストの操作が含まれます。記事の冒頭で説明したいくつかの問題は中国語ではないので、エンコードについては気にしません。ここでそれらについて言及したいと思います:

f = open("test.txt"，"w")
f.write(u"你好")

上記のコードが python2 で実行されると、エラーが報告されます

プログラムが Unicode 文字列を直接保存できないため、エラーが報告されます。エンコードする必要があります。保存する前に、 str 型のバイナリバイトシーケンスに変換されます。

write() メソッドは、デフォルトで ascii エンコード形式を使用してエンコードを自動的に変換しますが、ascii は中国語を処理できないため、UnicodeEncodeError が発生します。

正しい方法は、write() メソッドを呼び出す前に形式を手動で変換し、utf-8 または gbk を使用して str に変換することです。

f = open("test.txt"，"w")
text=u"你好"
text=text.encode(encoding=&#39;utf-8&#39;)
f.write(text)

close()について:

閉鎖されなかった場合の影響は何ですか?システムが開くことができるファイル記述子の数には制限があるため、操作が完了した後、ファイルを閉じないとシステムリソースが無駄に消費されます。 Linuxは65535です。通常、close 後は問題ありませんが、open() 関数の呼び出し時にエラーが発生し、close() を呼び出すと必ずエラーが報告される場合があります。もう 1 つの方法は、write() 中にディスク容量が不十分な場合、エラーが報告され、close() を実行する機会がなくなることです。正しい方法は、例外をキャッチする場合を除いて try を使用することです:

f = open("test.txt"，"w")
try:
  text=u"你好"
  text=text.encode(encoding=&#39;utf-8&#39;)
  f.write(text)
except: IOError as e:
  print("oops,%s"%e.args[0])
finally:
  f.close()

よりエレガントな書き方は with...as を使用することです。

with open("test.txt"，"w") as f:
  text=u"你好"
  f.write(text.encode(encoding=&#39;utf-8&#39;))

ファイルオブジェクトは、午前と午後のマネージャープロトコルを実装します。プログラムが with ステートメントに入ると、ファイルオブジェクトが変数 f に割り当てられ、プログラムの実行時に close() メソッドが自動的に呼び出されます。で終了します。

互換性の問題について:

python2とpython3のopen()関数は異なります。後者は関数内で文字エンコード形式を指定できます。 python2 と python3 の間の互換性 open() 問題を解決するにはどうすればよいですか?

io モジュールで open() 関数を使用します。python2 の io.open は、python3 の open 関数と同等です

from io import open
with open("test.txt"，"w",encoding=&#39;utf-8&#39;) as f:
  f.write(u"你好")

Python3.4.3でtxtテキストを行ごとに読み取り、重複を削除する方法

関連記事