《自然语言处理的基础模型—预训练语言模型整合媒体》

（P448页）

‍

‍

微盘地址（需审核，仅面向AI数字小巨人）：

https://drive.weixin.qq.com/s?k=AA0AKAefAA0od12aRR‍

这本开放获取的书全面概述了基础模型的研究和应用的****，面向熟悉基本自然语言处理 （NLP） 概念的读者。

近年来，已经开发了一种革命性的新范式来训练 NLP 模型。这些模型首先在大量文本文档上进行预训练，以获得一般的句法知识和语义信息。然后，他们针对特定任务进行微调，他们通常可以以超人的准确性解决这些任务。当模型足够大时，可以通过提示指示它们解决新任务，而无需进行任何微调。此外，它们可以应用于各种不同的媒体和问题领域，从图像和视频处理到机器人控制学习。因为它们为解决人工智能中的许多任务提供了蓝图，所以它们被称为基础模型。

在简要介绍了基本的 NLP 模型之后，描述了主要的预训练语言模型 BERT、GPT 和 sequence-to-sequence transformer，以及自我注意和上下文敏感嵌入的概念。然后，讨论了改进这些模型的不同方法，例如扩展预训练标准、增加输入文本的长度或包含额外的知识。然后概述了大约 20 个应用领域的**模型，例如，问答、翻译、故事生成、对话系统、从文本生成图像等。对于每个应用领域，讨论了当前模型的优缺点，并给出了进一步发展的展望。此外，还提供了指向免费提供的程序代码的链接。最后一章总结了 AI 的经济机会、风险缓解和潜在发展。

现代 AI 系统现在依赖于预先训练的语言模型和基础模型。如果我们想深入研究在工业中应用这些模型，那么了解它们的工作原理就变得很重要，Gerhard Paaß 和 Sven Giesselbach 编写的《自然语言处理基础模型》通过以下主题讲授了这些模型：

• 预先训练的语言模型的设计和优化

• 基础模型处理

• 基于 Transformer 的架构

• 基础模型微调

• 基础模型评估

• 道德和社会影响

• 在您想成为 AI 世界专业人士的那一刻利用这本书。

更多AI前沿资讯、工具、实战，关注数字力公开课：

官方网站：www.addloo.com

视频号：数字力公开课

抖音号：数字力公开课

小程序：数字力公开课