当前,人工智能的主流算法——深度学习模型在语音识别、图像识别、信息推荐等方面已经非常有影响,但是在医疗、教育等领域的应用还存在困难。这缘于以下三个方面:
第一,在医疗、教育领域能够接触到的数据往往都是小数据,而不是大数据。比如,教育、医疗、基因检测等的个人数据,实验、学生测验、客服问答等数据都只是小数据。只有实现了从大数据向小数据迁移的通用模型,才能帮助更多的领域用上人工智能,让人工智能更普及。
第二,深度学习模型非常脆弱,离开现有场景或稍加移动,其效果就会打折扣。对机器学习而言,由于训练数据与应用数据有所区别,被训练出来的模型在应用中就会遭遇这类可靠性问题。
第三,机器学习模型难以实现应用的个性化。例如,在推荐类的信息服务上,机器学习很难适用于个人行为。如果要实现这一点,需要解决如何把云端的通用模型适配到终端小数据。
上述深度学习面对的可靠性和应用个性化的问题,是迁移学习比较适合的事情,迁移学习原理上可帮助机器学习从云端向移动端迁移。
深度学习的一个自然发展方向就是迁移学习。迁移学习能让深度学习变得更加可靠,还能帮我们理解深度学习的模型。比如,我们能够知晓哪部分特征容易迁移,这些特征所对应的是某个领域比较高层、抽象的一些结构型概念。把它们和细节区分开,就能让我们对这个领域的知识表达形成一个很深的理解。这样一来,机器学习就可以像生物的神经系统一样终身学习,不断地对过去的知识进行总结、归纳,让一个系统越学越快,而且在学习过程中还能发现如何学习。
深度学习的特点是用非线性把原始的特征从低层转化到高层,这个过程很复杂,其优点有目共睹,但副产品是特征分层。恰巧,这种层次对于迁移学习是有好处的,比如,能够对迁移学习的效果进行量化。
等深度学习有了一定的发展后,迁移学习就有可能实现这一点,让算法不再仅仅运行指定的学习任务,而是能举一反三,变得比以前更加通用。
而且,在不同的迁移目标下,知识可以从一个领域到另一个领域,在不同层次迁移,并且能迁移多少是可以定量的——这在过去还停留在“能不能迁移”,现在已经可以精确地知道哪些可以迁移:是一部分参数,还是一部分特征。
另外,当几个不同的任务一起学习时,往往会有一些惊人的发现,这就是多任务学习。多任务学习往往会发现不同的领域所共有的知识,往往很容易抽象出高层的知识,也就很容易用来表达不同领域之间的共性。所以,多任务学习和迁移学习的目标是一致的,都是要实现比较稳定的知识表达,殊途而同归。
(作者系香港科技大学计算机与工程系主任、AAAI Fellow,本报记者赵广立整理)