科大讯飞虚拟主播小晴原型

虚拟主播的打造有常见的两种方式，一种是以真人主播为原型，另外一种是通过“真人捏脸”。
郜静文介绍道，“小晴是以我们公司一位同事为原型进行定制的，我们对她进行一定量的数据采集，就可以训练生成2D真人虚拟主播形象，再通过机器深度学习后，输出虚拟主播的AI模型，输入文本就可以实现音视频内容的快速生产了。”
“真人捏脸”则是通过将人脸编辑算法与多模态语音驱动算法深度结合，形成集人脸融合、视频序列生成、口唇驱动、语音合成、自然语言理解等AI核心技术于一体的整体方案，定制自由度更高。
“小晴”如何开口说话？
“首先我们会对真人进行一定量的音视频数据的采集，再利用语音合成技术，为“小晴”这个主播形象定制一个专属的个性化语音库。我们还会通过AI自动预测主播的表情、实时处理唇形，无论是声音还是脸部形象，都非常自然。”郜静文说。
“小晴”在冬残奥会新闻播报中有哪些过“人”之处？
在新闻播报的过程中，“小晴”处理新闻速度更快、效率更高，还可以迅速切换多种语言。