首页 > 智能网

华为高级研究员谢凌曦: 下一代人工智能计算模型探索

来源:智能网
时间:2020-04-24 18:05:28
热度:92

华为高级研究员谢凌曦: 下一代人工智能计算模型探索导 读为什么、难在哪、怎么做:——下一代人工智能计算模型探索Next Generation of AI-Computing Mod

导 读

为什么、难在哪、怎么做:——下一代人工智能计算模型探索

Next Generation of AI-Computing Models:——Why, What, and How下一代人工智能计算模型,主要是使用一些自动化技术帮助我们设计更好的深度学习网络结构,并在任务中提升性能。本文会重点从Why、What、How这3个地方重点讲解。

第一部分 什么是网络架构搜索(NAS)?为什么很重要?

一、AI领域未来面临的挑战

有3件事是确定的:数据(data),模型(model),知识(knowledge)

1. 数据

Data-efficiency:如何利用有限或多模态数据训练模型?

在如今的数据爆炸时代,会产生海量的数据,其中只有很少的数据有数据标注,大量的数据没有数据标注,且数据很“脏”。于是引出了第一个问题:如何从海量数据重,真正学习到自己想要的东西。

AI未来的发展方向是从全监督发展成自监督和无监督的方向。

2. 模型

Auto-learning:如何为人工智能应用设计强大高效的模型?

这一代的计算模型主要是基于深度学习的,尤其是卷积神经网络。深度学习在图像识别领域的应用,使得原先的模型从手工识别特征发展到自动学习特征。

基于这种发展的趋势,我们将模型继续推进一步,使得深度学习的网络设计也从手动转为自动。这是模型部分所面临的挑战。

3. 知识

Knowledge-aware:如何定义和存储知识,使训练后的模型安全可靠?

现有模型的算法,大部分都是拟合和训练数据,并不能保证拟合得到的结果具备分析常识的能力,即“不能真正地学习知识”。由于计算机缺乏常识,对知识的学习,可能会成为AI未来5年的研究方向。

二、AutoML介绍

本文的重点是模型部分,主要分析手动和自动,这两种思路的区别。

2017年自动化网格搜索架构被提出后,“手动更好”还是“自动更好”这类争论不断。在争论的过程中逐渐催生出了一个新的方向,称为自动化机器学习(AutoML)。这一方向在工业界得到了更多的关注度。

工业界的关注度超过学术结,主要有两个原因:

(1) 工业界的算力更强。

AutoML算法对计算资源的消耗非常大。例如,Google发表的NAS方面的论文,需要上万个GPU /天才能完成这样的计算。

(2) 工业界有很强的需求。AutoML可以帮工业界节省很多的开发成本。

以华为为例,华为有各种各样不同的手机产品,从旗舰机到低端的手机,芯片的计算能力会差很多。用户会需要在不同的手机中完成相似的功能(如拍视频),因此针对不同的芯片需要设计不同的网络架构以满足用户的需求;另一方面,用户的需求(如清晰度的要求)是实时变化的,如果使用人工机器学习算法,会带来巨大的人力投入。基于此,工业界存在自动化算法的需求。

Baidu
map