机器学习模型的“可解释性”的概念及其重要意义
人们对深度学习模型的真正运行机制还远远没有完全了解,如何提高预测模型的“可解释性”成了一个日益重要的话题。
近来的一篇论文讨论了机器学习模型的“可解释性”的概念及其重要意义。
7月17日,加州大学圣迭戈分校(UCSD)博士、卡内基梅隆大学(CMU)计算机科学助理教授Zachary C. Lipton在ACM Queue上发表了题为《The Mythos of Model Interpretability》的文章,讨论了监督式机器学习预测模型的可解释性问题。
Lipton在文中试图明确“可解释性”的定义,并对“可解释性”进行分类,并提出了一个重要观点,认为线性模型的可解释性并不一定高于深度神经网络(DNN)模型。
以下是新智元对论文内容的简编。
监督式的机器学习模型具有卓越的预测能力。
不过,机器学习模型不仅应该可用,而且应该是可解释的,但“解释机器学习模型”的任务定义似乎不够明确。
学术文献中提出了为模型寻求可解释性的许多动机,并提供了无数的技术来提供可解释的模型。
尽管存在这种模棱两可的情况,但许多作者宣称他们的模型在公理上是可解释的,然而对此却缺乏进一步的论证。
问题是,目前尚不清楚这些技术的共同特性是什么。
本文旨在完善关于可解释性的表述。
首先,文章回顾了以前论文中解决可解释性的目标,发现这些目标多种多样,偶尔还有相互矛盾。
接着讨论了研究可解释性的模型属性和技术思路,以及模型对人而言的识别透明度,并引入了“事后可解释性”的概念作为对比。
文章讨论了关于模型可解释性概念的不同观点的可行性和合理之处,对“线性模型可解释,深度神经网络不可解释”这一常见的观点提出了质疑。
在过去的20年中,机器学习的快速发展产生了自动决策。
在实际应用中,大多数基于机器学习的决策的运作方式是这样的:用输入数据训练机器学习算法,然后由算法预测相应的输出。
例如,给定一组关于金融交易的属性信息,机器学习算法可以预测长期的投资回报。
给定来自CT扫描的图像,算法可以该图像的扫描对象罹患癌性肿瘤的概率。