为每个新数据集构建神经网络模型是每个数据科学家的终极梦魇。如果您可以通过积累的经验和近似预测神经网络的准确性,该怎么办?这是IBM Research最近的一个项目的目标,结果是TAPAS或无架构搜索的无精度预测器(点击演示)。它的技巧是它可以在几分之一秒内估计看不见的输入数据集的分类性能,而无需对图像和文本分类进行培训。
与先前提出的方法相比,TAPAS不仅在拓扑网络信息上进行校准,而且还在数据集难度的表征上进行校准,这使我们无需任何培训即可重新调整预测。
由于用于训练神经网络的数据集的异质性,该任务特别具有挑战性。它们可以具有完全不同的类,结构和大小,增加了近似的复杂性。当我和我的同事考虑如何解决这个问题时,我们试图不将此视为计算机的问题,而是考虑人类如何预测准确性。
我们理解,如果你问一个具有深度学习知识的人,一个网络是好还是坏,那个人自然会对它有直觉。例如,我们会认识到两种类型的层不会混合,或者在一种类型的层之后,总会有另一种层跟随并提高准确性。因此,我们考虑将类似人类直觉的功能添加到计算机中是否可以帮助它做得更好。我们是对的。
我们在单个GPU上在400秒内对两个数据集进行了TAPAS测试,我们发现的最佳网络CIFAR-10准确率达到93.67%,CIFAR-100达到81.01%,经过培训验证。这些网络与其他自动发现的最先进的网络竞争性地发挥作用,但只需要一小部分时间来解决方案和计算资源。我们的预测器在单个GPU上实现了超过每秒100个网络的性能,从而创造了在几分钟内执行大规模架构搜索的机会。我们相信这是第一个可以根据看不见的数据进行预测的工具。
TAPAS是IBM新突破性能力中的AI引擎之一,称为NeuNetS,是AI OpenScale的一部分,可以在文本和图像域中合成自定义神经网络。
在NeuNetS中,用户将他们的数据上传到IBM Cloud,然后TAPAS可以分析数据并根据任务的复杂性按0-1的等级对其进行评级,0表示难,1表示简单。下一步TAPAS开始从其参考库中收集知识,根据用户上传的内容查找类似的数据集。然后基于此,TAPAS可以准确地预测新网络将如何在新数据集上执行,非常类似于人类如何确定它。
今天对数据科学技能的需求已经超过了当前的供应量,成为工业和社会中采用人工智能的真正障碍。 TAPAS是拆除这堵墙的一个重要里程碑。 IBM和苏黎世研究实验室正在努力使人工智能技术易于使用,只需点击鼠标即可。这将允许非专家用户在现在所花费的时间的一小部分内构建和部署AI模型,并且不会牺牲准确性。此外,这些工具将逐渐学习专业领域的利用率,并随着时间的推移自动改进,越来越好。