结合深度神经网络和决策树的完美方案
UCL、帝国理工和微软的研究人员合作，将神经网络与决策树结合在一起，提出了一种新的自适应神经树模型ANT，打破往局限，可以基于BP算法做训练，在MNIST 和CIFAR-10数据集上的准确率高达到99%和90%。

将神经网络和决策树结合在一起的自适应神经树
神经网络的成功关键在于其表示学习的能力。

但是随着网络深度的增加，模型的容量和复杂度也不断提高，训练和调参耗时耗力。

另一方面，决策树模型通过学习数据的分层结构，可以根据数据集的性质调整模型的复杂度。

决策树的可解释性更高，无论是大数据还是小数据表现都很好。

如何借鉴两者的优缺点，设计新的深度学习模型，是目前学术界关心的课题之一。

举例来说，去年南大周志华教授等人提出“深度森林”，最初采用多层级联决策树结构（gcForest），探索深度神经网络以外的深度模型。

如今，深度深林系列已经发表了三篇论文，第三篇提出了可做表示学习的多层GBDT森林（mGBDT），在很多神经网络不适合的应用领域中具有巨大的潜力。

日前，UCL、帝国理工和微软的研究人员合作，提出了另一种新的思路，他们将决策树和神经网络结合到一起，生成了一种完全可微分的决策树（由transformer、router和solver 组成）。

他们将这种新的模型称为“自适应神经树”（Adaptive Neural Trees，ANT），这种新模型能够根据验证误差，或者加深或者分叉。

在推断过程中，整个模型都可以作为一种较慢的分层混合专家系统，也可以是快速的决策树模型。

自适应神经树结合了神经网络和决策树的优点，尤其在处理分层数据结构方面，在CIFAR-10数据集上分类取得了99%的准确率。

在refinement 之前（a）和之后（b），ANT各个节点处的类别分布（红色）和路径概率（蓝。