地化中的优势 | 英国电话号码

科技的发布很少会像流行文化那样“颠覆互联网”（那件裙子是什么颜色的？）。但 4 个月前发布的 ChatGPT 却如此迅速而深入地进入了集体意识，以至于感觉我们已经将“生成”和“AI”一起使用了很长时间。

OpenAI 团队在基于大型语言模型 (LLM) 的技术以及其快速发展方面所取得的成就确实令人瞩目。

人工智能技术在为各种主题的任何问题提供流畅而准确的答案方面表现出色。用户界面友好且每个人都可以使用，这有助于这项技术的普及。

现在，每个人都在试图弄清楚如何利用这套新的“超能力”来提高各行各业的生产力和效率，尤其是在网站翻译方面。

也就是说，语言模型在自然语言处理领域并不是什么新鲜事物。ChatGPT 是使用一种称为“transformer”的特殊模型创建的。它使用具有编码器/解码器架构和自注意力机制的深度神经网络。

谷歌于 2016 年从统计机器翻译转向神经机器翻译(NMT)。这一变化提高了机器翻译的质量，并且至今仍用于翻译网站。

NMT 和 LLM 是生成响应的模型

但是，它们的训练方式不同，处理不同类型的提示和响应。它们还使用不同数量的训练数据。

LLM 是多功能工具，类似于瑞士军刀和 whatsapp 号码胶带。但是，当需要将钉子钉入墙壁时，锤子是最合适的选择。NMT 是翻译的锤子——一种专门用于完成一件事的工具。

与 LLM 相比，NMT 能够在所有语言中提供最优质的翻译，尤其是在寻求融入特定品牌声音要求时。

LLM 技术对于翻译和本地化任务非常有帮助。它可以用数据进行训练，以提高 NMT 输出的质量。本质上，“瑞士军刀”可以用来制造更好的锤子）。

构建高质量 NMT 引擎的过程主要分为两个阶段：

领域适应性极大地提高了翻译质量。在考虑语法和含义以外的因素时尤其如此。这些因素包括遵守行业或公司特定的风格指南和词汇表。

虽然 ChatGPT 等 LLM 的翻译质量可以与通用 NMT 模型阿里·加布里埃尔全球云和数据中心架构与构建主管（例如谷歌翻译）相媲美，至少对于高资源语言而言，但对于大多数组织来说，更相关的比较是与训练有素的领域适应的 NMT 模型进行比较，这将产生更好的翻译质量，更快，更便宜。

这是因为 LLM 中的模型大小（神经网络中的参数数量）和需要准备然后使用的训练数据量都大得多，以至于持续训练和推理（进行翻译）的计算成本比 NMT 高出几个数量级。这也是它们比 NMT 慢得多的原因。

将其添加到您为训练 NMT 而精心挑选的真实训练数据中。这在资源中低的语言中最有用，因为很难找到足够的对齐句子对来训练有效的 NMT。LLM 可能对目标语言有足够的了解，能够生成合成数据来增强您的真实数据，这样使用增强数据训练的 NMT 产生的结果质量就会高于仅使用真实数据训练的 NMT。

同样，它可用于生成用于领域适应训练的合成数据，因为您无法收集足够的真实数据来进行有效提高质量的领域适应训练。如果从真实数据中得到足够的示例，LLM 可以生成更多不同但相似的数据，这很有用。

在 MotionPoint，我们的 NMT 团队一直在为客户训练品牌适配的 NMT 模型，并且观察到与通用模型相比，我们的品牌适配模型的输出质量有非常显著的提高。

我们已经看到 BLEU 得分有所提高，通用墨西哥电话号码模型的得分范围为 30-40（可理解但不是很好）提高到了高资源语言中的 70-80（基本上是人类质量）。虽然通用和领域自适应 NMT 的得分在资源较少的语言中都较低，但改进仍然使 BLEU 得分大约翻了一番。
语言学家的评价是，领域自适应模型显著提高了语气的正式一致性，提高了可读性，并显著降低了人工后期编辑的工作量。事实上，在许多情况下，达到了人类的质量。