当前人工智能落地应用的繁荣很大程度上来自于机器学习（Machine Learning）尤其是深度学习（Deap Learning）的技术发展，但智能背后空茫的无法理解不可解释始终让人们质疑人工智能是否必须可解释才能用于一些高风险场景，尤其是在医疗保健、金融和政府等关键领域。
深度学习即深度神经网络（Deap Neural Network），其特征在于无需经过特点人为干预设计就能自主从大量数据中学习并构建规律体系。然而在AI深度学习模型输入数据和输出结果之间，在复杂结构层级的人工神经网络中，是大量人类难以理解的代码和数值，无法准确解释AI在特定情况下做出特定预测的缘由。
这就是很多人听说过的“AI可解释性危机”。
3月23日，《Fortune》在一篇文章中指出，人工智能存在可解释性危机，但它可能不是你想的那样。在其文章末尾更是表达了“当谈到现实世界中的人工智能时，我们应该关心的不是解释而是验证”的观点。
所以，对可解释人工智能的追求有什么问题呢？
“我们认为，通过当前的可解释性方法建立信任的愿望代表了一种虚假的希望：即个人用户或受人工智能影响的用户能够通过审查解释（即特定于该单个决定的解释）来判断人工智能决策的质量。那些使用此类系统的人可能误解了当代可解释性技术的能力——它们可以在一般意义上产生对人工智能系统如何工作的广泛描述，但对于单个决策，这些解释是不可靠的，或者在某些情况下，只能提供肤浅的解释水平。”近日，麻省理工学院计算机科学家Marzyeh Ghassemi，澳大利亚机器学习研究所放射科医生兼研究员Luke Oakden-Rayner和哈佛大学公共卫生学院流行病学系研究员Andrew Beam在医学杂志《柳叶刀数字健康》上发表的一篇论文中写道。
为机器学习决策产生人类可理解的解释的尝试通常分为两类：固有可解释性和事后可解释性。
对于输入数据复杂性有限且易于理解的机器学习模型，量化这些简单输入与模型输出之间的关系称为固有可解释性。比如从一开始就训练AI来识别某种疾病的原型特征，像肺部存在“毛玻璃”图案，然后告诉医生它认为检查的图像与原型的匹配程度有多接近。
这看起来直观简单，但作者发现，这也很大程度上取决于人类的解释——是否选择了正确的原型特征，并在得出结论时对每个特征进行了适当的加权。
即使是固有可解释模型也会因存在无法识别的混杂因素而难以真正生效。更别说在许多现代人工智能用例中，数据和模型过于复杂和高维，不能用输入和输出之间的简单关系来解释。
事后可解释性思路是通过各种途径剖析其决策过程。一种流行的事后可解释性形式称为热图，热图突出图像的每个区域对给定决策的贡献程度，并且具有说明性，常用在医学成像模型中。
图说：用于检测胸部X光肺炎的深度学习模型的事后解释方法生成的热图
（根据深度神经网络，较亮的红色表示重要性级别较高的区域，较深的蓝色表示重要性级别较低的区域）
但Ghassemi等研究发现，本应解释为什么AI将患者归类为肺炎的热图，即使是图中“最热区域”（最影响判断区域）也包含着在医生看来有用和无用的信息，简单地定位该区域并不能准确揭示模型认为有用区域的确切内容。
“临床医生不知道该模型是否恰当地确定了空域混浊的存在在决定中很重要，心脏边界或左肺动脉的形状是否是决定因素，或者该模型是否依赖于与人类不相关的特征，例如特定的像素值或纹理，可能与图像采集过程有关，而不是潜在疾病，” Ghassemi、Oakden-Rayner和Beam写道。
他们指出，在缺乏此类信息的情况下，人类倾向于假设人工智能正在研究人类临床医生会发现的重要特征。这种认知偏差会使医生对机器学习算法可能犯的错误视而不见。
研究人员还发现了其他流行的可解释性方法的缺陷，如GradCam、LIME和Shapley Values。其中一些方法通过改变输入的数据点，直到算法做出不同的预测，然后假设这些数据点对原来做的预测来说一定是最重要的。
但这些方法与热图有同样的问题——它们可能会识别出对决策很重要的特征，但它们不能准确告诉医生为什么算法认为这些特征很重要。如果这个特征让医生觉得违反直觉，医生该怎么做？断定算法是错误的，还是断定它发现了以前医学未知的临床重要线索？任何一个都有可能。 更糟糕的是，不同的最新解释方法在对算法结论的解释上经常存在分歧。在2月8日发表的《可解释机器学习中的分歧问题：从业者的视角》论文中，来自哈佛大学、麻省理工学院、卡内基梅隆大学和德雷克塞尔大学的研究人员发现，在现实世界中，大多数使用算法的人都无法解决这些差异，而且通常，正如Ghassemi等学者所建议的那样，他们只是简单地选择了最符合他们现有想法的解释。
卡内基梅隆大学计算机科学教授Zachary Lipton在接受《Fortune》采访时表示，“医疗保健领域领域每个认真的人都知道，当今大多数可解释的AI都是无稽之谈。”Lipton表示，在他们的医院部署了一个据称可解释的AI系统来解释医学图像后，已经有许多放射科医生向他寻求帮助，这些图像的解释没有意义——或者至少，与放射科医生真正想要的东西无关。
然而，公司继续将他们的AI系统推销为“可解释的”，Lipton表示，因为他们认为他们必须这样做才能进行销售，“他们说，‘如果没有解释，医生不会相信它。’ 但也许他们不应该相信它。”
根据《英国医学杂志》（The BMJ）2020年发表的一项研究，在最坏的情况下，提供解释是为了掩盖医学成像中使用的大多数深度学习算法都没有受到严格的双盲随机对照试验，而这些实验在新药被批准之前是必须的。
“我们建议可解释AI的最终用户，包括临床医生、立法者和监管机构，要意识到当前存在的可解释AI的局限性。我们认为，如果希望确保人工智能系统能够安全可靠地运行，那么重点应该放在严格和彻底的验证程序上。”Ghassemi、Oakden-Rayner和Beam得出了一个有点违反直觉的结论，即医生不应该专注于解释，而应该关注AI的作用效果，以及其是否经过了严格、科学的测试。
他们指出，医学充满了医生使用的药物和技术，因为它们起作用，尽管没有人知道为什么——对乙酰氨基酚已被用于治疗疼痛和炎症一个世纪，尽管我们仍然不完全了解其潜在机制。
