使用Python計算神經機器翻譯的BLEU分數

使用 NMT 或 NLP 中的神經機器翻譯，我們可以將文字從給定語言翻譯為目標語言。為了評估翻譯的執行情況，我們使用 Python 中的 BLEU 或雙語評估學生分數。

BLEU 分數的工作原理是將機器翻譯的句子與人工翻譯的句子進行比較，兩者都採用 n 元語法。此外，隨著句子長度的增加，BLEU 分數下降。一般來說，BLEU 分數的範圍是 0 到 1，數值越高表示品質越好。然而，獲得滿分的情況非常罕見。請注意，評估是在子串匹配的基礎上完成的，它沒有考慮語言的其他方面，如連貫性、時態和語法等。

公式

BLEU = BP * exp(1/n * sum_{i=1}^{n} log(p_i))

這裡，各個術語具有以下含義 -

• BP 是簡潔懲罰。它根據兩個文本的長度調整 BLEU 分數。其公式為 -

BP = min(1, exp(1 - (r / c)))

• n是n-gram匹配的最大階數

• p_i 是精確度分數

演算法

• 第 1 步 - 匯入資料集庫。

• 步驟 2 - 使用 load_metric 函數並以 bleu 作為參數。

• 第 3 步 - 根據翻譯後的字串的單字列出清單。

• 步驟 4 - 使用所需輸出字串的單字重複步驟 3。

• 步驟 5 - 使用 bleu.compute 尋找 bleu 值。

範例 1

在這個範例中，我們將使用 Python 的 NLTK 函式庫來計算將德文句子機器翻譯成英文的 BLEU 分數。

• 原文（英文）- 今天下雨

• 機器翻譯文字 - 今天下雨

• 所需文字 - 今天下雨，今天下雨

雖然我們可以看到翻譯沒有正確完成，但我們可以透過尋找藍色分數來更好地了解翻譯品質。

範例

#import the libraries
from datasets import load_metric
  
#use the load_metric function
bleu = load_metric("bleu")

#setup the predicted string
predictions = [["it", "rain", "today"]]

#setup the desired string
references = [
   [["it", "is", "raining", "today"], 
   ["it", "was", "raining", "today"]]
]

#print the values
print(bleu.compute(predictions=predictions, references=references))

輸出

{'bleu': 0.0, 'precisions': [0.6666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 3, 'reference_length': 4}

您可以看到，翻譯效果不是很好，因此，藍色分數為 0。

範例 2

在此範例中，我們將再次計算 BLEU 分數。但這一次，我們將把一個法文句子機器翻譯成英文。

• 原始文字（德語）- 我們要去旅行

• #機器翻譯的文字 - 我們要去旅行

• 所需文字 - 我們要去旅行，我們要去旅行

您可以看到，這次翻譯的文字更接近所需的文字。讓我們檢查一下它的 BLEU 分數。

範例

#import the libraries
from datasets import load_metric
  
#use the load_metric function
bleu = load_metric("bleu")

#steup the predicted string
predictions = [["we", "going", "on", "a", "trip"]]

#steup the desired string
references = [
   [["we", "are", "going", "on", "a", "trip"], 
   ["we", "were", "going", "on", "a", "trip"]]
]

#print the values
print(bleu.compute(predictions=predictions, references=references))

輸出

{'bleu': 0.5789300674674098, 'precisions': [1.0, 0.75, 0.6666666666666666, 0.5], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 5, 'reference_length': 6}

您可以看到，這次完成的翻譯非常接近所需的輸出，因此藍色分數也高於 0.5。

結論

BLEU Score 是一個很棒的工具，可以檢查翻譯模型的效率，從而進一步改進它以產生更好的結果。儘管 BLEU 分數可用於粗略了解模型，但它僅限於特定詞彙，並且通常忽略語言的細微差別。這就是 BLEU 分數與人類判斷很少協調的原因。但您絕對可以嘗試一些替代方案，例如 ROUGE 分數、METEOR 指標和 CIDEr 指標。

以上是使用Python計算神經機器翻譯的BLEU分數的詳細內容。更多資訊請關注PHP中文網其他相關文章！