这本开放获取的书全面概述了基础模型的研究和应用的****，面向熟悉基本自然语言处理 （NLP） 概念的读者。

近年来，已经开发了一种革命性的新范式来训练 NLP 模型。这些模型首先在大量文本文档上进行预训练，以获得一般的句法知识和语义信息。然后，他们针对特定任务进行微调，他们通常可以以超人的准确性解决这些任务。当模型足够大时，可以通过提示指示它们解决新任务，而无需进行任何微调。此外，它们可以应用于各种不同的媒体和问题领域，从图像和视频处理到机器人控制学习。因为它们为解决人工智能中的许多任务提供了蓝图，所以它们被称为基础模型。

在简要介绍了基本的 NLP 模型之后，描述了主要的预训练语言模型 BERT、GPT 和 sequence-to-sequence transformer，以及自我注意和上下文敏感嵌入的概念。然后，讨论了改进这些模型的不同方法，例如扩展预训练标准、增加输入文本的长度或包含额外的知识。然后概述了大约 20 个应用领域的**模型，例如，问答、翻译、故事生成、对话系统、从文本生成图像等。对于每个应用领域，讨论了当前模型的优缺点，并给出了进一步发展的展望。此外，还提供了指向免费提供的程序代码的链接。最后一章总结了 AI 的经济机会、风险缓解和潜在发展。

• 预先训练的语言模型的设计和优化

• 基础模型处理

• 基于 Transformer 的架构

• 基础模型微调

• 基础模型评估

• 道德和社会影响

• 在您想成为 AI 世界专业人士的那一刻利用这本书。

《自然语言处理的基础模型—预训练语言模型整合媒体》

（P448页）

‍

‍

下载须知：

1、已开通AI数字小巨人会员（V3）
完整报告下载地址：https://drive.weixin.qq.com/s?k=AA0AKAefAA0od12aRR‍

2、如何开通AI数字小巨人，享会员专属权益？戳下方：

关注我们：

AI时代，任何商业场景，都需进行AIx数字化重构！