在 Python 中使用 LASER 嵌入進行文字標識符的語意匹配

使用 OCR 數位化財務報告時，您可能會遇到各種方法來偵測這些報告中的特定類別。例如，像 Levenshtein 演算法這樣的傳統方法可以用於基於編輯距離的字串匹配，使其能夠有效地處理近似匹配，例如修正拼字錯誤或文字中的微小變化。

但是，當您需要在報告的一行中檢測多個類別時，尤其是當這些類別可能不完全按照預期顯示或可能在語義上重疊時，挑戰會變得更加複雜。

在這篇文章中，我們分析了使用 Facebook 的 LASER（與語言無關的 SEntence Representations）嵌入的語義匹配方法，展示了它如何有效地處理此任務。

問題

目標是識別給定文字行中的特定財務術語（類別）。假設我們有一組固定的預定義類別，代表所有可能感興趣的術語，例如：

[「收入」、「營業費用」、「營業利潤」、「折舊」、「利息」、「淨利」、「稅金」、「稅後利潤」、「指標 1」]

給定一個輸入行，例如：

「營業利潤、淨利和稅後利潤」

我們的目標是偵測此行中出現哪些識別符。

雷射語義匹配

我們不依賴精確或模糊的文本匹配，而是使用語義相似性。這種方法利用雷射嵌入來捕捉文字的語義，並使用餘弦相似度進行比較。

執行

預處理文字

在嵌入之前，透過將文字轉換為小寫並刪除多餘的空格來對文字進行預處理。這確保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入識別符和輸入線

雷射編碼器為標識符清單和輸入/OCR 行產生標準化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

以特異性對識別符進行排名

較長的標識符會根據字數進行排序。這有助於處理嵌套匹配，其中較長的標識符可能包含較短的標識符（例如，“稅後利潤”包含“利潤”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

計算相似度

使用餘弦相似度，我們測量每個標識符與輸入行在語意上的相似程度。相似度高於指定閾值的標識符被視為匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

為了處理重疊的標識符，會優先考慮較長的匹配，確保排除其中較短的匹配。

def preprocess(text):
    return text.lower().strip()

結果

執行程式碼時，輸出會提供偵測到的匹配項及其相似度分數的清單。對於範例輸入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

較長且複雜的輸入的注意事項

此方法適用於單行包含多個類別的結構化財務報告，前提是沒有太多類別或太多不相關的文字。然而，隨著較長、複雜的輸入或非結構化的使用者生成的文字的出現，準確性可能會降低，因為嵌入可能很難專注於相關類別。對於嘈雜或不可預測的輸入，它的可靠性較差。

結論

這篇文章示範了雷射嵌入如何成為檢測文本中多個類別的有用工具。這是最好的選擇嗎？也許不是，但這肯定是值得考慮的選項之一，尤其是在處理傳統匹配技術可能無法滿足的複雜場景時。

完整程式碼

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入進行文字標識符的語意匹配的詳細內容。更多資訊請關注PHP中文網其他相關文章！