6月30日，百度正式开源文心大模型4.5系列模型。据官方公布介绍，文心4.5系列开源模型共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（**的模型总参数量为424B），以及0.3B的稠密参数模型。

目前，文心大模型4.5开源系列已可在飞桨星河社区、HuggingFace等平台下载部署使用，同时开源模型API服务也可在百度智能云千帆大模型平台使用。

文心4.5系列开源模型共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（**的模型总参数量为424B），以及0.3B的稠密参数模型。

以下是文心4.5系列开源模型核心技术亮点：

多模态混合专家模型预训练

文心4.5通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，我们提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。

高效训练推理框架

为了支持文心4.5模型的高效训练，我们提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，我们提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit量化和2-bit量化。此外，我们还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE模型的推理性能。基于飞桨框架，文心4.5在多种硬件平台均表现出优异的推理性能。

针对模态的后训练

为了满足实际场景的不同要求，我们对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（UnifiedPreferenceOptimization，统一偏好优化技术）的多阶段后训练。

AI时代，任何商业场景，都需进行AIx数字化重构！