您好,请您登录 免费注册 2019年06月27日 星期四
行业新闻

快报 | 新华社AI主播站起来了,还添了“女同事”

发布日期:2019-03-07    来源:技术交易平台

技术贸易促进365联盟 

QQ图片20190307103601.png

2月19日,新华社联合搜狗公司在北京发布全新升级的站立式AI合成主播,并推出全球首个AI合成女主播。肢体语言是搜狗和新华社赋予AI合成主播的最新技能,这也是人工智能与新闻采编深度融合的最新突破性成果。

 

“搜狗分身”技术再获突破

 QQ图片20190307103729.png

在去年11月举行的第五届世界互联网大会上,新华社联合搜狗发布全球首个合成新闻主播——AI合成主播,运用最新人工智能技术,“克隆”出与真人主播拥有同样播报能力的“分身”。这不仅在全球AI合成领域实现了大突破,更是在新闻领域开创了实时音视频与AI真人形象合成的先河,因此引起了世界范围内的关注。

作为新华社的新员工,AI合成主播上线后立即投入到新闻报道中并实现量产,目前已发稿3400余条,累计时长达10000多分钟,参与了包括第五届世界互联网大会、首届进博会、2019春运、农历猪年春节等重要报道。

 

这些报道充分结合图片、视频、文字、动漫等元素,生产出一系列内容丰富、形式多样、可读性强的融媒体新闻产品。这些产品不仅在新华社中英文客户端、新华社微信公众号、中国新华新闻电视网等发布,还以竖屏形态在各移动短视频平台大量播发,引起热烈反响,海内外媒体纷纷跟进报道。

 

日前发布的新AI合成主播,将过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”,标志着“搜狗分身”技术再次取得突破。

QQ图片20190307103618.png

同时,搜狗还为这款被命名为“新小浩”的站立式AI合成主播带来了一位新同事:全球首个AI合成女主播“新小萌”。它展示了“搜狗分身”技术的通用能力,可以根据不同的要求复制AI合成主播“分身”。

 

“搜狗分身”技术是搜狗人工智能的核心技术之一,诞生于搜狗“自然交互+知识计算”这一人工智能理念之下。该技术能够利用搜狗的AI能力,从图像表情、声音语言习惯、逻辑思维等层面对AI进行拟人化训练,然后克隆制造人类的AI分身,进而帮助人类提高信息表达和传递的效率。

QQ图片20190307103749.png

该技术包含语音合成和图像生成两大引擎,能通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项技术,并结合语音、图像等多模态信息进行联合建模训练后,生成与真人无异的AI分身模型。

 

从坐到站的技术进化

 

那么,从最初的坐着到现在的站立,AI合成主播都经历了哪些进化?

QQ图片20190307103803.png

AI合成主播师从国内顶级新闻播报员,由新华社邱浩和屈萌两位主播“亲自”调教。它是对真人主播声音、唇形、表情动作等特征进行高效提取,通过语音合成、唇形合成、表情合成以及深度学习等技术,创造出具备和真人主播一样播报能力的AI合成主播。

 

这项技术让机器首次做到逼真的模拟人类说话时的声音、嘴唇动作和表情,如今搜狗又将合成肢体语言的能力加入其中。

 

同时,“搜狗分身”的个性化定制成本低,仅需使用少量用户真实音视频数据,即可快速定制出高逼真度的分身模型。搜狗仅在3个月后就推出了完成度极高的“新小萌”形象,再次证明了这项的技术的通用性。

 

除了加入新功能,搜狗还对AI合成主播原本的声音、图像技术进行升级。

“新小浩”的声音加入了领先的wavernn波形建模技术,实现更逼真的语音合成效果,让声音情感更真实。

 

在图像生成方面,通过模型优化及多风格数据的使用,实现更加逼真的表情合成、肢体动作与语义的恰当匹配以及更加自然的唇动效果。

 

站立式AI合成主播将打破只能在演播室的局限,将“走出大门”参与2019年全国两会的报道,站立并且声情并茂为观众播报前方消息。

QQ图片20190307103822.png

今后,搜狗和新华社将以AI合成主播项目为核心,在人工智能应用于新闻采编领域开展全方位长期合作,你可以在新华社客户端、微信公众号上看到两位主播的身影。

 

搜狗CEO王小川还介绍说,除了在新闻领域的应用,作为AI合成主播的技术核心,“搜狗分身”技术未来还将应用于娱乐、医疗、健康、教育、法律、金融等多个领域。