txt ファイル データの読み取りとデータベースへの保存に関する問題

txt ファイルのデータを読み取ってデータベースに保存する問題
毎日、txt レコード ファイル (過去 7 日間のレコード) をダウンロードしてデータベースにインポートします。txt ファイルには約 2,000 件のレコードがあります。そのうちの % はすでにデータベースにあります。はい、データの約 20% だけが新しいデータです。ループで txt ファイルを直接読み込んでデータベースに書き込むと失敗します。非効率すぎます。もっと効率的な方法はありますか？
------解決策のアイデア----------------------
既知のデータは過去 7 年間のものですdays の場合、開始日以降のデータをデータベースから配列に読み取ることができます
2. データ ファイルを配列に読み取ります
3. 2 つの配列間の差分セットを見つけます
4.差分セットをデータベースに挿入