国家级的盛典,国家级的直播用AI剪辑!?总台这个想法够大胆。从效果来看,大胆的想象带来了大美的画面,也大大提高了制作、发布效率。这其中,成都索贝数码科技股份有限公司(以下简称索贝)功不可没。

AI技术首次应用于新闻制作

为保证国庆庆祝活动报道超300条短视频,央视新闻专门上线AI剪辑师,担任其中一部分工作。这也是央视新闻新媒体首次运用AI人工智能技术到短视频剪辑当中。

又飒又美的女民兵、三军平行剪辑的蒙太奇、陆军方阵的大特写……AI剪辑师在国庆阅兵报道中完成首秀,AI剪辑作品瞬间火遍全网,点击量分分钟破百万,央视新闻在AI技术的加持下,轻松完成多个不同维度的阅兵精彩短视频发布。

从大阅兵三军仪仗队进入视线开始,AI引擎能够自动编辑前方70余个机位的画面内容,完成一条短视频仅耗时90秒左右。国庆70小时直播期间,央视新闻共计推出近百条AI视频,近7000秒的国庆阅兵精彩展现。

央视新闻客户端AI智能剪辑专题

相较于人工剪辑,AI技术的加入使得视频产量实现几何式增长,且识别准确率较高,大大提高了效率,解放了人力,视频编辑可以省出精力,专注于其他更加精细化且有编辑思路的视频产品的制作上。

AI剪辑是怎样炼成的?

AI厉害,是因为背后的程序猿厉害。这次大显神通的AI技术并不是来自想象中的阿里、腾讯,而是一支既年轻又老道的队伍——索贝AI团队。年轻是因为,在媒体领域,人工智能(AI)技术发展迅猛就是近两年的事,老道则是因为,索贝是一家专注视频技术20多年的专业视音频技术解决方案公司,是最懂广电应用场景的。

国庆阅兵AI剪辑系统框架

针对新闻新媒体国庆报道AI剪辑需求,索贝以公司最新打造的媒体智能平台——麒智AI平台为基础开发出视频AI智能剪辑系统,利用平台积累的计算机视觉、音频、自然语言处理算法,进行快速定制、训练算法提取视音频特征,同时结合平台具备的大数据分析处理算法及工具,进一步完成数据及特征分析整合,形成应用所需的有用的信息及知识,最后结合编辑场景所需完成最后的知识应用,形成AI编辑生产力,完成之前需要大量人力投入的编辑工作。AI剪辑平台以图像识别技术为基础,结合语音识别等人工智能技术,设计开发了队伍方阵识别、有效镜头检测、自动合成剪辑三大类智能处理模型,通过三类模型的综合应用,实现智能剪辑功能。

麒智AI平台基本结构

队伍方阵识别模型主要采用了人脸识别、动作识别、物体识别等图像识别方式,用于确认各队伍、方阵在视频画面中出现的时间位置。确认时间位置后,通过有效镜头检测模型在一定范围内对画面进行前后智能比对,提取同一队伍、方阵在各机位中的有效视频画面。最后使用自动合成剪辑模型,按预先训练完成的编辑剪辑规则,将同一队伍、方阵的可用画面进行拼接,再通过语音识别、图像识别将画面与声音同步对齐后,自动生成精彩视频。

AI剪辑不仅是简单的切条,而是有“灵魂”的剪辑师,远全中近特,各种镜头组合技巧讲究,让观众觉得自然顺畅。AI剪辑的特长在效率,一个资深的视频剪辑师,通常需要一个小时才能剪出几分钟的精彩时刻。而对于AI剪刀手来说,90秒就能出片。

国内媒体AI技术应用最高水平

作为广电行业的领军企业,索贝一直十分重视先进技术在媒体行业的应用研究。在人工智能方面,索贝坚持长期的资源、资金和人力投入,专门成立了媒体智能实验室,并与上海交大、四川大学、鹏城实验室等科研单位进行深度合作。同时,索贝始终坚持AI结合业务的研发原则。索贝媒体智能实验室负责人温序铭表示:“20多年来,索贝专注于视频技术,拥有深厚的技术积淀与媒体服务经验。索贝坚信AI的落地离不开具体的场景,离不开专业的领域知识。我们和中央广播电视总台等顶级媒体单位展开联合研究,深入理解专业编辑知识,面向媒体行业具体需求进行针对式研发。”

在此次大规模应用于新中国70年华诞国庆阅兵、庆典之前,索贝AI技术已经成功应用于中央广播电视总台体育CBA篮球智能剪辑。此外,索贝智能台标、智能多媒体稿等多个产品也成功应用于多个媒体单位。本次索贝和总台团队共同打造的大阅兵AI剪辑是国内首次将人工智能技术应用于新闻节目制作,这代表了国内媒体AI技术应用的最高水平,受到了用户的广泛好评。一场移动互联网时代广播电视转播技术的比武阅兵,索贝以AI技术亮剑,跑在了阿里、腾讯等大佬前面,首战告捷!