天津大学“伏羲传语”多语言大模型正式发布并开源，应对大模型多语言能力不足

红星资本局8月16日消息，日前，天津大学自主研发的“伏羲传语”多语言大模型正式发布并开源。

“大语言模型在各类任务中表现出了强大的能力，然而，许多大模型在应对不同语言时并不会表现出均衡的能力，这通常与预训练的语料数据的配比有关。多数基准测试表明，大模型在多语言能力上仍然存在不足，尤其是面对低资源语言时。”研发团队负责人、天津大学智能与计算学部教授、博士生导师熊德意告诉红星资本局，该模型采用了多语言预训练数据均衡策略，以应对大模型在不同语言间的性能差异问题及低资源语言性能低的挑战。

熊德意介绍，模型完全从头开始训练，研发团队完成了大规模多语言数据的收集和处理、8B基座模型预训练、指令对齐训练及多语言基准测评全过程。预训练数据来源涵盖互联网、书籍、论文、百科、代码数据。此次预训练使用了研发团队收集的28万亿词元数据中的6060亿词元数据。

除了基座模型FuxiTranyu-8B，伏羲传语还推出了两个指令微调模型：FuxiTranyu-8B-SFT及FuxiTranyu-8B-DPO。前者在多样化的多语言指令数据集上进行了有监督指令微调，后者则在人类偏好数据集上通过DPO技术进一步增强了模型的对齐能力。相比基座模型，指令微调模型在多语言能力、对齐能力上得到了显著的提升，能够更好地遵循人类指令，生成的回复更符合人类价值观。

红星资本局了解到，伏羲传语大模型支持“一带一路”沿线、亚洲及欧洲多个国家及地区的语言，合计43种，包括汉语、英语、阿拉伯语、葡萄牙语等富资源语言，以及孟加拉语、缅甸语、泰米尔语等低资源语言，覆盖汉藏语系、印欧语系、亚非语系等10大语系。除此之外，伏羲传语还支持C++、Java、C、C#、Python等16种编程语言。

据悉，为了进一步推进多语言大模型的研究与应用，研发团队已将伏羲传语基座模型、指令微调模型及58个预训练检查点在 HuggingFace平台上开源。