5 机器翻译与数据集
机器翻译是语言模型最成功的基准测试。因为机器翻译正是将输入序列转换成输出序列的 序列转换模型(sequence transduction)的核心问题。
机器翻译(machine translation)指的是将序列从一种语言自动翻译成另一种语言。与之前的语料库是单一语言的语言模型问题存在不同,机器翻译的数据集是由源语言和目标语言的文本序列对组成的。因此,我们需要一种完全不同的方法来预处理机器翻译数据集,而不是复用语言模型的预处理程序。
5.1 下载和预处理数据集
- 首先,下载一个由Tatoeba项目的双语句子对组成的“英-法”数据集,数据集中的每一行都是制表符分隔的文本序列对,序列对由英文文本序列和翻译后的法语文本序列组成。请注意,每个文本序列可以是一个句子,也可以是包含多个句子的一个段落。
1 | import os |
Downloading ..\data\fra-eng.zip from http://d2l-data.s3-accelerate.amazonaws.com/fra-eng.zip...
Go. Va !
Hi. Salut !
Run! Cours !
Run! Courez !
Who? Qui ?
Wow! Ça alors !
- 原始文本数据需要经过几个预处理步骤。例如,我们用空格代替不间断空格(non‐breakingspace),使用小写字母替换大写字母,并在单词和标点符号之间插入空格。
1 | #@save |
go . va !
hi . salut !
run ! cours !
run ! courez !
who ? qui ?
wow ! ça alors !
5.2 词元化
- 在机器翻译中,我们更喜欢单词级词元化。tokenize_nmt函数对前num_examples个文本序列对进行词元,其中每个词元要么是一个词,要么是一个标点符号。此函数返回两个词元列表:source和target:source[i]是源语言(这里是英语)第i个文本序列的词元列表,target[i]是目标语言(这里是法语)第i个文本序列的词元列表。
1 | #@save |
([['go', '.'],
['hi', '.'],
['run', '!'],
['run', '!'],
['who', '?'],
['wow', '!']],
[['va', '!'],
['salut', '!'],
['cours', '!'],
['courez', '!'],
['qui', '?'],
['ça', 'alors', '!']])
- 绘制每个文本序列所包含的词元数量的直方图。
1 | import os |
5.3 词表
- 分别为源语言和目标语言构建两个词表。使用单词级词元化时,词表大小将明显大于使用字符级词元化时的词表大小。为了缓解这一问题,这里我们将出现次数少于2次的低频率词元视为相同的未知(“
”)词元。除此之外,我们还指定了额外的特定词元,例如在小批量时用于将序列填充到相同长度的填充词元(“ ”),以及序列的开始词元(“ ”)和结束词元(“ ”)。这些特殊词元在自然语言处理任务中比较常用。
1 | src_vocab = d2l.Vocab(source, min_freq=2, reserved_tokens=['<pad>', '<bos>', '<eos>']) |
10012
5.4 加载数据集
语言模型中的序列样本都有一个固定的长度,无论这个样本是一个句子的一部分还是跨越了多个句子的一个片断。这个固定长度是由num_steps(时间步数或词元数量)参数指定的。在机器翻译中,每个样本都是由源和目标组成的文本序列对,其中的每个文本序列可能具有不同的长度。
为了提高计算效率,我们仍然可以通过截断(truncation)和 填充(padding)方式实现一次只处理一个小批量的文本序列。假设同一个小批量中的每个序列都应该具有相同的长度num_steps,那么如果文本序列的词元数目少于num_steps时,我们将继续在其末尾添加特定的“
”词元,直到其长度达到num_steps;反之,我们将截断文本序列时,只取其前num_steps 个词元,并且丢弃剩余的词元。这样,每个文本序列将具有相同的长度,以便以相同形状的小批量进行加载。
1 | # 截断或填充文本序列 |
[47, 4, 1, 1, 1, 1, 1, 1, 1, 1]
- 定义一个函数,可以将文本序列转换成小批量数据集用于训练。我们将特定的“
”词元添加到所有序列的末尾,用于表示序列的结束。当模型通过一个词元接一个词元地生成序列进行预测时,生成的“ ”词元说明完成了序列输出工作。此外,我们还记录了每个文本序列的长度,统计长度时排除了填充词元
1 | #@save |
5.5 训练模型
- 定义load_data_nmt函数来返回数据迭代器,以及源语言和目标语言的两种词表。
1 | #@save |
- 读出“英语-法语”数据集中的第一个小批量数据。
1 | train_iter, src_vocab, tgt_vocab = load_data_nmt(batch_size=2, num_steps=8) |
X: tensor([[ 9, 21, 4, 3, 1, 1, 1, 1],
[99, 12, 4, 3, 1, 1, 1, 1]], dtype=torch.int32)
X的有效长度: tensor([4, 4])
Y: tensor([[0, 4, 3, 1, 1, 1, 1, 1],
[0, 4, 3, 1, 1, 1, 1, 1]], dtype=torch.int32)
Y的有效长度: tensor([3, 3])