9月19日,云栖大会上,阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5,其涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型,每个尺寸都有基础版本、指令跟随版本、量化版本,总计上架100多个模型,刷新业界纪录。
从数据上看,Qwen2.5全系列模型都在18T tokens数据上进行预训练,相比Qwen2,整体性能提升18%以上,拥有更多的知识、更强的编程和数学能力,支持128K的上下文长度,可生成最多8K内容。模型能够响应多样化的系统提示,实现角色扮演和聊天机器人等任务。在指令跟随、理解结构化数据、生成结构化输出等方面Qwen2.5都进步明显。
专项模型方面,用于编程的Qwen2.5-Coder和用于数学的Qwen2.5-Math都比前代有了实质性进步。Qwen2.5-Coder在多达5.5T tokens的编程相关数据上作了训练;Qwen2.5-Math支持使用思维链和工具集成推理解决中英双语的数学题。
多模态模型方面,视觉语言模型Qwen2-VL-72B正式开源,Qwen2-VL能识别不同分辨率和长宽比的图片,理解20分钟以上长视频,具备自主操作手机和机器人的视觉智能体能力。
生态上,通义与海内外的开源社区、生态伙伴、开发者共建生态网络,截至2024年9月中旬,通义千问开源模型下载量突破4000万,Qwen系列衍生模型总数超过5万个,成为仅次于Llama的世界级模型群。
还没有评论,快来发表第一个评论!