2020年,通过开放挑战和职业竞技

简介: 2020年,通过开放挑战和职业竞技,腾讯 AI Lab 在复杂环境决策、多智能体合作与博弈以及策略预测与规划方面的成果得到了展现。

通用人工智能、AI+行业、前沿研究,是腾讯AI Lab给出的三个关键词。

等行业上,腾讯AI Lab也都实现了AI+应用落地。

当然,在ECCV、CVPR等AI顶会上,同样能看见腾讯AI Lab的不少研究成果。

而通用人工智能(AGI),则是腾讯AI Lab整年里最核心的目标。

双轨并行,探索AGI的无限可能迈向通用人工智能,创造能感知、理解真实世界,并能有效执行各种不同任务的 AI 系统,是腾讯 AI Lab 成立伊始,就确定的核心长远目标。

2020 年,腾讯 AI Lab 和 Robotics X 实验室主任张正友博士,共同提出了一个全新的概念:虚实集成世界 (Integrated Physical-Digital World,IPhD)。

它将当前在AI、虚拟现实(VR)、增强现实(AR)、混合现实(MR)领域的前景展望、互联网、物联网等思想进行了融合,并呈现出一个交互进化的软件与硬件、虚拟与现实、人与AI和机器人实现AGI的愿景。

目前,腾讯 AI Lab 的所有研究,都可以纳入虚实集成世界的整体框架之下。

在虚实集成世界框架下,现实虚拟化、虚拟真实化、全息互联网、智能执行体四大发展方向,将成为腾讯 AI Lab 和 Robotics X 实验室未来发展的重要指导。

而虚拟人和机器人,是腾讯 AI Lab 和 Robotics X 实验室在 2020 年取得的两项重大突破。

2020 年 10 月,腾讯 AI Lab 提出了一种基于 RGB-D 自拍视频创建高拟真度 3D 虚拟人的方法。

这项技术的核心,是一项涉及 3D 人脸 Mesh 估计、高清纹理贴图、法线细节贴图的合成算法,实现了成本极低但速度很快的 3D 人脸合成:手机拍摄视频输入后,只需要30秒处理时间。

这项技术还能用于数字祭奠(纪念已逝之人),或是让人类演员在动画、游戏中扮演角色(比如基努·李维斯在《赛博朋克2077》中扮演的 Johnny Sliverhand)等。

在创造虚拟世界原生虚拟人方面,腾讯 AI Lab 开发的多模态虚拟人「 AI 艾灵」,已于 2020 年 5 月与公众见面,并于儿童节当天,与青年演员歌手王俊凯、和雄安孩子,共同演绎了新歌《点亮》。

AI 艾灵,是腾讯 AI Lab 在视觉、语音、自然语言、人机交互等多模态方面的研究结晶。

它采用的 DurIAN 语音合成框架,融合了腾讯 AI Lab 在语音领域多年深耕的经验。

△ DurIAN 工作过程示意图虚拟世界原生虚拟人,在虚拟偶像、虚拟助理、在线教育、数字内容生成等领域有着广泛的应用前景。

其采用的 SongNet 歌词创作模型,可以根据任意格式和模板,生成相契合的文本,唱出自己写的歌。

移动机器人:「AI+机器人」新进展腾讯 AI Lab ,一直在与腾讯 Robotics X 机器人实验室合作,共同推进「AI+机器人」的发展。

2020 年 11 月,两项在移动机器人领域的新进展问世:让四足机器人 Jamoca 学会了走梅花桩、还提出了让轮式机器人自主平衡的新方法。

为了让 Jamoca 具备走梅花桩的能力,腾讯 Robotics X 实验室,基于自研的机器人控制技术,为 Jamoca 打造了一个能应对复杂环境的智能大脑。

这是腾讯 Robotics X 实验室在机器人感知、运动规划与控制等核心技术的一次展示,体现出腾讯 Robotics X 实验室整机系统设计、搭建的重要能力。

此外,腾讯 Robotics X 实验室还研究了能自行保持平衡的两轮式移动机器人,这是实验室的首个整机自研机器人。

基于这个移动机器人平台的两篇研究论文,均被机器人行业国际顶会 IROS 2020 接收为 Oral 展示论文。

之后,除了让移动机器人更好地理解周围的环境、及时采取合理动作,腾讯 Robotics X 实验室、和腾讯 AI Lab ,还会继续在多模态 AI 能力与机器人结合领域探索,创造出能密切参与人类生产生活的智能机器人。

AI+行业,让应用真正落地「科技向善」,是腾讯的核心使命愿景,作为腾讯大家庭的一员,腾讯 AI Lab 也同样秉承着这一使命。

腾讯 AI Lab ,深知 AI 变革世界的潜力。

因此,在积极探索最前沿的 AI 技术时,他们也致力于将技术转化为应用,更好地服务用户、造福社会。

例如,使用 AI 助力抗击新冠疫情的实际应用、更经济高效的药物发现平台。

AI+医疗:用AI抗击疫情和辅助病理医生「AI+医疗」,是腾讯 AI Lab 的核心研究方向之一,这是一个有望造福全人类的研究课题。

去年,新冠疫情肆虐全球,AI 技术在医疗领域,也拥有了更多的应用前景。

2020 年 7 月,钟南山院士团队与腾讯 AI Lab ,利用AI,做出了一款预测COVID-19患者病情发展至危重概率的模型。

这个模型,可分别预测5天、10天和30天内病情危重的概率,有助于合理地为病人进行早期分诊,相关研究发表于国际顶级期刊 Nature 子刊 Nature Communications。

腾讯 AI Lab 在第一时间对代码进行了开源,并构建了一个免费的在线查询服务平台,为抗击新冠疫情贡献了自己的力量。

△ 新冠重症患者早期分期生存模型计算工具在之前的4月份,腾讯 AI Lab 联合研发的智能显微镜,获得了 NMPA 注册证,成为国内首个获准进入临床应用的智能显微镜产品。

11月25日,在中华医学会病理分会细胞学组专家们的见证下,安必平、腾讯 AI Lab 以及腾讯觅影,正式启动了「科技部医疗影像国家人工智能开放创新平台——宫颈液基细胞学AI数据库建设」项目。

AI+药物:首个AI驱动的药物发现平台问世2020年7月,腾讯 AI Lab 重磅发布了首个 AI 驱动的药物发现平台「云深智药」。

云深智药,整合了腾讯 AI Lab和腾讯云在前沿算法、优化数据库以及计算资源上的优势,覆盖临床前新药发现流程的五大模块:蛋白质结构预测、虚拟筛选、分子设计/优化、 ADMET 属性预测及合成路线规划…

在蛋白质结构预测方面,云深智药采用了腾讯 AI Lab 自研的冠军级蛋白质结构预测技术,涵盖两项关键技术突破:基于自监督学习的蛋白质折叠方法、基于深度学习的可迭代方法。

11月,腾讯AI Lab在国际顶级期刊Nature子刊《Nature Communications》上发表了一项研究,介绍了采用「从头折叠」的蛋白质结构预测方法。

这项研究,帮助解析了 SRD5A2 晶体结构的成果,揭示了治疗脱发、和前列腺增生的药物分子「非那雄胺」对于该酶的抑制机制。

目前,药物小分子 ADMET 属性预测模块,已在多个数据集上优于学术界现有最好模型 3%~11%;在合作伙伴的反馈中,平台的自研算法精度超过现有商业软件 6%~37% 不等。

腾讯 AI Lab 也会继续推进基于 AI 的药物发现技术,为云深智药平台更多、范围更广的功能。

此外,腾讯 AI Lab 还开源了一个大规模自监督分子图预训练模型GROVER。

AI+农业:iGrow 再获丰收,农业仿真落地现实世界农业,是事关人类生存的基础性行业。

2020 年,是腾讯 AI Lab 的「AI+农业」方向的又一个「丰收年」。

6 月份,腾讯 AI Lab 与世界著名农业学府荷兰瓦赫宁根大学(WUR)联办的「第二届国际智慧温室种植挑战赛」落幕。

复赛的五支队伍,挑战用 AI 和 IoT 物联网等前沿技术优化种植决策,并远程自动控制温室种植小番茄。

复赛队中,五个 AI 的收成,均超过有20年经验的农业种植专家组。

其中,冠军组 Automatoes 得到满分,实现亩产资源消耗减少16%,净利增加121%,充分展现了农业智能决策与温室自动控制的技术价值,和为农民减负的未来潜力。

此外,腾讯 AI Lab 还携手腾讯TEG架构平台部,借助在第一届比赛中自研的 AI 算法、技术经验,打造的云原生「腾讯AIoT智慧种植方案 iGrow」,在 2020 年已落地中国农业大省辽宁。

第一期番茄试点迎来「小丰收」,每亩每季净利润增加数千元,iGrow 的商业价值得到了初步验证。

△iGrow方案在辽宁温室试点11 月 27 日,腾讯云(莘县)农业数字经济产业基地开园,这是腾讯集团在全国布局的首个农业数字经济产业基地。

在新的一年里,腾讯 AI Lab 研发的 iGrow 解决方案,将在该基地得到进一步研究和应用。

继化肥、农药和大规模机械化种植之后,AI 和物联网,有望让农业更进一步摆脱靠天吃饭的传统模式。

AI+游戏:游戏仿真世界,「绝悟」AI 策略协作能力再升级「AI+游戏」,也是腾讯 AI Lab 深耕的研究领域。

基于围棋、《王者荣耀》、《毁灭战士》、《星际争霸》等游戏平台,腾讯 AI Lab 已经研发许多有价值的前沿技术,并创造了中国国家队围棋训练专用 AI 等真实应用。

4 月份,腾讯 AI Lab 开发的围棋 AI「绝艺」,与中国国家围棋队续约三年。

立足于国民手游《王者荣耀》,腾讯 AI Lab 开发出了策略协作型 AI 「绝悟」。

2020年,通过开放挑战和职业竞技,腾讯 AI Lab 在复杂环境决策、多智能体合作与博弈以及策略预测与规划方面的成果得到了展现。

8月18日,腾讯牵头构建的 AI 多智能体与复杂决策开放研究平台「开悟」正式对高校开放,同时开启了首届「开悟AI+游戏高校大赛」。

依托于腾讯 AI Lab 和「王者荣耀」在算法、数据(脱敏)、算力方面的核心优势,「开悟」致力于发展成为国内领先、国际一流的研究与应用探索平台。

为了让绝悟 AI 掌握全部英雄,腾讯 AI Lab 提出了一种新方法:课程自对弈学习 (CSPL)。

这是一种让 AI 从易到难的渐进式学习方法:先引入「老师分身」模型,让每个AI老师通过深度强化学习技术,在单个阵容上训练至精通。

△CSPL流程图《王者荣耀》等 MOBA 类游戏非常复杂,同时,涉及多样化的合作与对抗博弈,非常适合作为策略型 AI 的开发平台、用于研发适用于不同场景的通用型 AI 技术。

除此之外,2020 年 12 月,腾讯 AI Lab 绝悟团队借助「开悟」平台开发的 AI 「绝悟-WeKick 版本」,在 Google Research 与英超曼城俱乐部联合举办的 AI Kaggle 竞赛上获得冠军。

不同于《王者荣耀》, AI 比赛涉及到 11 个智能体的相互配合、以及与另外 11 个智能体的对抗,同时奖励相比于 MOBA 游戏还更稀疏。

即便如此,WeKick 依然以显著优于第二名的成绩获得了冠军。

虽然都是 RTS (即时战略)游戏,星际争霸中需要控制多种不同类型不同数量的单位,这些单位又有各自的运动和攻击特点,因而动作空间更大、策略空间更丰富。

腾讯 Robotics X ,开源了首个通用的大规模多智能体博弈训练框架TLeague,并据此训练出能击败大师级选手的星际争霸强AI TStarBot-X。

行业应用以外,腾讯 AI Lab在前沿研究上也有不少进展。

前沿研究进展作为国内领先、世界一流的企业级人工智能实验室,腾讯 AI Lab 一直秉承开放合作的理念,与全球高校和研究机构,共同探索 AI 技术前沿。

2020 年,腾讯AI Lab的高校合作项目「犀牛鸟专项研究计划」,完成了第三年度闭环,共发表高水平论文 50 多篇,项目的多项成果,已应用于智能语音交互产品、直播自动解说系统、和视觉识别系统等。

此外,腾讯 AI Lab 还启动了「开悟」AI多智能体、与复杂决策开放研究平台产学研生态建设,发起了首届王者荣耀开悟 AI 学术交流赛。

此外,腾讯AI Lab还邀请清华大学、北京大学、中科院等 18 所高校师生,开展了百人专项培训和竞赛,为今后向高校进一步开放「开悟」,打下了良好基础。

在学术成果上,2020 年腾讯 AI Lab 和 Robotics X 实验室,在计算机视觉、语音、自然语言处理、多模态、知识图谱、机器学习、机器人等更众多 AI 领域,都做出了业界领先的贡献。

在 ACL、INTERSPEECH、IROS、NeurIPS、AAAI 等主要顶级学术会议上,腾讯 AI Lab 和 Robotics X 实验室,整体发表的论文数量位居国内企业实验室前列。

据上海交通大学 Acemap 学术地图统计,腾讯 2020 年在 AI 领域的论文(其中相当大一部分来自腾讯 AI Lab)发表数位列全球大学与机构第 8 位,H-index 全球并列第 5 位。

在中国的大学和机构排名中,腾讯的 AI 论文数量排名第 4, H-index 并列第 2,大幅领先国内其它企业。

下面,将分为几个主题,简单梳理腾讯 AI Lab 在2020年的重要研究成果。

多模态研究多模态研究的目标,是让 AI 或机器人通过整合多种不同来源的信号,来理解环境和做出判断,比如视觉、雷达、GPS、语音、语言和互联网数据等。

多模态研究虽然重要,但 AI 领域,目前还没有专门面向多模态研究的顶级会议或顶级期刊。

也因此,腾讯 AI Lab 的多模态研究成果,分散地发表在不同的学术会议和期刊上。

2020 年腾讯 AI Lab 在多模态方向上的研究,主要集中于音频/视频/图像与文本的多模态学习。

除了前文已经介绍过的虚拟人成果,腾讯 AI Lab 还提出了一种针对视频中时序句子定位、和描述学习模态间交互的新方法,能学习成对模态交互,并改善两项任务的性能。

另外,腾讯 AI Lab 还研究了如何基于场景图分解来生成自然语言描述、通过递归子查询构造改善视觉和自然语言匹配、以及一种新的视觉-文本匹配模型。

△ 用于描述并定位视频的视频-文本多模态学习框架除了视频-文本多模态,腾讯 AI Lab 也在视频-音频多模态上,取得了一些研究成果。

比如发表在INTERSPEECH 2020的一项研究中,腾讯 AI Lab 提出了一种利用跨域视觉,生成特征辅助障碍语音识别的方法。

△ 多模态语音分离框架另外,在多模态人机交互上, 腾讯 AI Lab 还提出了多模态说话人diarization、多模态语音分离、以及多模态语音识别方案。

这是融合音频、视频、 声纹、空间信息等多个模态,针对「鸡尾酒会」一类复杂场景的人机交互整体解决方案。

△ 多模态语音分离、识别的联合训练框架腾讯 AI Lab 还提出了一种新的深度多模融合框架:信道交换网络(CEN) [12]。

机器学习机器学习,是 AI 的核心过程和标志性能力。

近些年的 AI 发展热潮,正是源自深度学习等机器学习技术的突破。

机器学习领域的研究重心,除了继续优化深度学习方法、和拓展其应用范围外,还在积极探索其与其它学习范式的组合。

2020 年,腾讯 AI Lab 在多个机器学习方向上都得到了重要的研究成果,也为机器学习模型的可解释性、鲁棒性等理论分析做出了贡献。

这些研究成果,多数在NeurIPS 2020 等 AI 领域顶级会议、和 Nature Communications 等顶级期刊上发表。

其中,深度强化学习,是腾讯 AI Lab 的一大核心研究方向。

立足于围棋和《王者荣耀》等视频游戏等场景,腾讯 AI Lab 在深度强化学习方面的探索,已达世界前列水平。

基于这项技术开发的围棋 AI 「绝艺」,已在中国国家围棋队的训练中得到了实际应用。

而《王者荣耀》AI 「绝悟」,也已进化为「完全体」,并通过首次大规模 MOBA AI 智能体性能测试,接受了广大玩家的检验。

完全体绝悟的成功,基于腾讯 AI Lab 对新方法与成熟方法的有效组合,包括课程自博弈学习、多头价值估计、策略注入、蒙特卡洛树搜索和离策略等。

在深度图学习方面,腾讯 AI Lab 也成绩斐然,包括前文提到的,完全基于自监督训练的图神经网络框架 GROVER。

同时,为了编码分子中海量的复杂信息,GROVER 还整合了消息传播网络和Transformer,得到一个有更强表达能力的图神经网络模型 GTransformer。

此外,腾讯 AI Lab 还提出了一种基于狄利克雷分布的图变分自编码器框架,并证明了该框架与经典平衡图分割方法的等价性。

腾讯 AI Lab 还通过分子逆合成分析,探索了深度图学习在化学领域的应用。

此外,在 2020 年的 ACM SIGKDD 会议上,腾讯AI Lab、清华大学、香港中文大学等机构联合组织,通过一场为期一天的课程,系统性地讲解了图神经网络。

腾讯 AI Lab 还有一项将深度强化学习与图学习组合起来的研究成果,这是一种针对文字游戏提出的基于分层堆叠注意力机制的深度强化学习算法。

在用于提升网络架构搜索的计算效率方面,腾讯 AI Lab 提出了一种过渡性的仿射参数共享训练策略。

在结合多任务学习方面,腾讯 AI Lab 采用了基于任务的结构控制器,来针对不同的任务产生针对性的网络结构,并采用元学习的方式,使得网络参数可以快速适应到新的任务上。

此外,腾讯 AI Lab 还在相关理论分析方面做出了一些贡献,包括一项评估神经机器翻译的可解释性方法,可帮助打开深度学习黑箱。

腾讯 AI Lab ,还研究了选择性机制对自注意网络的改善情况。

最后,腾讯 AI Lab 的一篇 ECCV 2020 论文也提出了一种基于神经科学研究的新式卷积:语境门限卷积(Context-Gated Convolution)。

△ 门限卷积示意图自然语言处理随着 BERT 与 OpenAI GPT 等基于 Transformer 的大规模语言模型的出现,一些专家认为,NLP将在未来十年内迎来重大突破。

腾讯 AI Lab 正开展研究工作,为推动自然语言处理技术的发展努力。

在 2020 年 7 月举办的自然语言处理领域顶级会议 ACL 2020 上,腾讯 AI Lab 贡献了 20 篇论文,位列国内企业研究机构前列。

在文本理解方面,腾讯AI Lab在2020年4月,开放了文本理解系统TexSmart,可对中文和英文两种语言的文本进行词法、句法和语义分析。

TexSmart 系统,获得了2020 中国计算语言学大会(CCL)的最佳系统演示奖。

在对话理解方面,腾讯AI Lab提出了对话语义角色标注(Conversational Semantic Role Labeling)技术,将对话的语义表示成多个「谓词-论元」结构。

同时,腾讯AI Lab将这项技术与对话理解其他技术结合,在京东智能客服对话比赛中获得第一名。

此外,腾讯 AI Lab 还在长文本阅读理解、从高资源语言向低资源语言的泛化、基于对话的关系抽取等方面取得了一些研究进展。

在语言生成与对话方面,除了前文的SongNet,腾讯 AI Lab 还在如何更好地理解对话上下文、如何打造千人千面的对话机器人、如何融合常识等知识、流畅且符合逻辑的自然语言生成等课题上取得了进展。

在机器翻译方面,腾讯AI Lab致力于改善翻译模型的效果。

腾讯AI Lab提出的数据重生、和多领域通用翻译模型,可以更有效地利用大规模、多领域,混合训练数据。

同时,腾讯AI Lab继续深耕于理解并改进Transformer模型,包括理解选择性机制对自注意力网络的重要性,推理置信度校准研究、评估神经机器翻译的可解释性方法。

受益于此,腾讯AI Lab的自动翻译(中英和英中)系统准确度继续保持国内前列,在国际翻译比赛WMT2020中也取得了1项第一,3项第二的成绩。

计算机视觉2020 年,腾讯 AI Lab 在计算机视觉方面成果颇丰。

在计算机视觉领域顶级会议 CVPR 和 ECCV 上,腾讯 AI Lab 各有 11 和 18 篇论文入选,包括多模态学习、视频内容理解、对抗攻击与对抗防御、基于生成模型的图像编辑等多项课题。

此外,腾讯AI Lab在 NeurIPS 2020 上,也有多篇相关论文入选。

当然,这也是腾讯 AI Lab 的一大重要研究课题。

2020 年,腾讯 AI Lab 提出了一些实现对抗攻击的新策略,比如一种针对深度聚类的对抗策略。

△ 稀疏对坑攻击示例同时,腾讯 AI Lab 也提出了一些用于防御对抗攻击的技术,包括一种针对对抗攻击的鲁棒目标方法,能在产生轻量对抗扰动时候,将时序信息纳入考虑、从而提升模型鲁棒性。

在图像去模糊和超分辨率方面,腾讯AI Lab也成果颇丰。

在 ECCV 入选论文中,腾讯 AI Lab 有两篇论文研究了如何消除视觉场景的雨滴,包括一种基于语义理解的双目去雨方法、和一种利用雨痕和雨雾分析进行图像去雨的技术。

超分辨率方面,腾讯 AI Lab 提出了一种结合3D脸部结构先验的人脸超分辨算法,该算法能充分利用脸部结构、及身份信息,来辅助处理困难的脸部姿态变化。

当然,腾讯 AI Lab 也没有缺席热门的视频研究领域。

2020 年的相关研究,包括一种可用于时序动作分割的边界感知级联网络,这种新的级联模式,能让模型自适应地调整感受野,并对语义模糊的视频帧做出置信率更高的预测。

此外,腾讯 AI Lab 还提出了一种新的短时序动作检测框架——移动中心点检测器(MOC-Detector),其可将动作实例视为运动点的轨迹,实现高质量的长时动作检测。

手语自动翻译上,腾讯 AI Lab 也做出了一些研究进展。

2020 年,语音技术顶级会议INTERSPEECH,共接收了 16 篇腾讯 AI Lab 论文。

在这其中,腾讯 AI Lab 为解决鸡尾酒会问题,提出了多项潜在的解决策略。

通过提出全新的基于递归神经网络的波束形成方法,领域首次突破了传统波束形成技术,在PESQ等客观指标、和WER等语音识别指标上,同时达到最优。

腾讯AI Lab还提出了一种端到端的多通道语音分离技术, 相比传统的多通道技术,性能提高了10%。

另外,在语音识别方面,腾讯 AI Lab 着力提升复杂条件下的识别性能。

研究人员通过有效结合分离和识别技术,将在各种干扰下的语音识别准确率,相对提升了20% ,该技术正广泛应用于信息流产品视频内容理解、短视频及直播视频字幕生成中。

而在语音合成方面,DurIAN 是腾讯 AI Lab 多年研究的重要结晶,也是腾讯虚拟人语音系统的核心组件。

DurIAN 不仅能合成更加自然流畅的说话语音,还能用于合成歌声,腾讯 AI Lab 甚至还探索了其在京剧合成方面的应用,从技术角度为中国传统文化的保护和传承一个方向。

腾讯 AI Lab 的语音合成技术,在2020 年完成端到端合成工业化落地之后,不断朝着更高的目标演进。

在此基础上,腾讯 AI Lab 还实现了韵律词、字级别的细粒度控制能力,可以灵活地对单个字、词的语气情感进行调节。

秉承「科技向善」的信念和「Make AI Everywhere」的愿景,以通用人工智能和虚实集成世界为长期目标,腾讯 AI Lab 在这一年中做出了更多积极的应用和研究贡献。

期待腾讯AI Lab在2021年的表现。


以上是文章"

2020年,通过开放挑战和职业竞技

"的内容,欢迎阅读融合财经的其它文章