使用Python计算神经机器翻译的BLEU分数
使用 NMT 或 NLP 中的神经机器翻译,我们可以将文本从给定语言翻译为目标语言。为了评估翻译的执行情况,我们使用 Python 中的 BLEU 或双语评估学生分数。
BLEU 分数的工作原理是将机器翻译的句子与人工翻译的句子进行比较,两者都采用 n 元语法。此外,随着句子长度的增加,BLEU 分数下降。一般来说,BLEU 分数的范围是 0 到 1,值越高表示质量越好。然而,获得满分的情况非常罕见。请注意,评估是在子串匹配的基础上完成的,它没有考虑语言的其他方面,如连贯性、时态和语法等。
公式
BLEU = BP * exp(1/n * sum_{i=1}^{n} log(p_i))
登录后复制
这里,各个术语具有以下含义 –
-
BP 是简洁惩罚。它根据两个文本的长度调整 BLEU 分数。其公式为 –
BP = min(1, exp(1 – (r / c)))
登录后复制
-
n是n-gram匹配的最大阶数
-
p_i 是精度分数
算法
-
第 1 步 – 导入数据集库。
-
步骤 2 – 使用 load_metric 函数并以 bleu 作为参数。
-
第 3 步 – 根据翻译后的字符串的单词列出一个列表。
-
步骤 4 – 使用所需输出字符串的单词重复步骤 3。
-
步骤 5 – 使用 bleu.compute 查找 bleu 值。
示例 1
在此示例中,我们将使用 Python 的 NLTK 库来计算将德语句子机器翻译成英语的 BLEU 分数。
-
源文本(英文)- 今天下雨
-
机器翻译文本 – 今天下雨
-
所需文本 – 今天下雨,今天下雨
虽然我们可以看到翻译没有正确完成,但我们可以通过查找蓝色分数来更好地了解翻译质量。
示例
#import the libraries
from datasets import load_metric
#use the load_metric function
bleu = load_metric(“bleu”)
#setup the predicted string
predictions = [[“it”, “rain”, “today”]]
#setup the desired string
references = [
[[“it”, “is”, “raining”, “today”],
[“it”, “was”, “raining”, “today”]]
]
#print the values
print(bleu.compute(predictions=predictions, references=references))
登录后复制
输出
{‘bleu’: 0.0, ‘precisions’: [0.6666666666666666, 0.0, 0.0, 0.0], ‘brevity_penalty’: 0.7165313105737893, ‘length_ratio’: 0.75, ‘translation_length’: 3, ‘reference_length’: 4}
登录后复制
您可以看到,翻译效果不是很好,因此,蓝色分数为 0。
示例 2
在此示例中,我们将再次计算 BLEU 分数。但这一次,我们将把一个法语句子机器翻译成英语。
-
源文本(德语)- 我们要去旅行
-
机器翻译的文本 – 我们要去旅行
-
所需文字 – 我们要去旅行,我们要去旅行
您可以看到,这次翻译的文本更接近所需的文本。让我们检查一下它的 BLEU 分数。
示例
#import the libraries
from datasets import load_metric
#use the load_metric function
bleu = load_metric(“bleu”)
#steup the predicted string
predictions = [[“we”, “going”, “on”, “a”, “trip”]]
#steup the desired string
references = [
[[“we”, “are”, “going”, “on”, “a”, “trip”],
[“we”, “were”, “going”, “on”, “a”, “trip”]]
]
#print the values
print(bleu.compute(predictions=predictions, references=references))
登录后复制
输出
{‘bleu’: 0.5789300674674098, ‘precisions’: [1.0, 0.75, 0.6666666666666666, 0.5], ‘brevity_penalty’: 0.8187307530779819, ‘length_ratio’: 0.8333333333333334, ‘translation_length’: 5, ‘reference_length’: 6}
登录后复制
您可以看到,这次完成的翻译非常接近所需的输出,因此蓝色分数也高于 0.5。
结论
BLEU Score 是一个很棒的工具,可以检查翻译模型的效率,从而进一步改进它以产生更好的结果。尽管 BLEU 分数可用于粗略了解模型,但它仅限于特定词汇,并且常常忽略语言的细微差别。这就是 BLEU 分数与人类判断很少协调的原因。但您绝对可以尝试一些替代方案,例如 ROUGE 分数、METEOR 指标和 CIDEr 指标。
以上就是使用Python计算神经机器翻译的BLEU分数的详细内容,更多请关注恰卡编程网(mip.qiaqa.com)其它相关文章!
推荐阅读
-
在Python中,将K添加到列元组列表中的最小元素
处理数据集涉及识别特定列中的最小值并通过添加常量值(K)来更新它。通过实施优化的解决方案,我们可以有效地执行此操作,这对于数据...
-
使用switch case语句编写的C程序,用于计算几何图形的面积
#includevoidmain(){intfig_code;floatside,base,length,...
-
如何使 C# 代码可重用?
要在C#中使代码可重用,请使用接口。接口定义属性、方法和事件,这些成员是接口的成员。接口只包含成员的声明。派生类负责定义成员。这通...
-
C# 中的覆盖和隐藏有什么区别?
方法隐藏在C#中也称为隐藏。父类的方法可供子类使用,无需在遮蔽中使用override关键字。子类有其自己版本的相同函数。在...
-
在Java中使用示例双倍longValue()函数
Java是一种强大的面向对象语言,可以对各种数据类型进行高度的控制和精确度。其中一种功能是doublelongValue(),...
-
如何在Java中定义JSON字段名称的命名约定?
TheFieldNamingPolicycanbeusedtodefineafewstandardnaming...
-
Servlet中的HttpSession接口
在JavaWeb开发领域,了解HttpSession接口是创建动态和响应式Web应用程序的关键。在本文中,我们将探讨...
-
使用while循环查找自然数之和的Java程序
自然数之和可以使用编程语言中的不同迭代语句来计算。迭代语句是执行一组特定代码行直到循环语句中的条件失败的语句。在本文中,我们将讨论...
-
我们可以将Java数组转换为列表吗?
我们可以使用Arrays.asList()方法轻松地将Java数组转换为List。语法publicstaticLi...
-
Java中如何在不使用任何外部库的情况下读取网页内容?
TheURLclassofthejava.netpackagerepresentsaUniformResour...