ai 科技评论按：近年来，人工智能尤其是在机器学习领域中，取得了非常巨大的成就，看似其未来更加光明。然而这些系统仍旧不够完美，尤其是被应用到一些因为些许错误就能够导致人命伤害或亿万财产损失的行业中时，这将会存在巨大的风险。
这需要我们人为对这些系统进行保障，其中包括可验证性、可靠性、鲁棒性、可审计性、可解释性和无偏性，对此，斯坦福 ai 实验室对近年来关于 ai 安全、可靠性的研究进展进行了总结，并以文章的形式发布在博客上，ai 科技评论编译如下。
概述为了能在一些关键应用中使用先进的 ai 系统，比如：商用飞机防撞、金融交易或大规模发电厂、化工厂控制等应用；我们必须保证这些系统具有可验证性（以正确的方式对一系列输入进行验证）、可靠性（即使是新的未见过的输入，表现能够与预期相符）、鲁棒性（在应用时不易受噪音或特定输入干扰）、可审计性（当做出任何给定的决定时，可检查其内部状态）、可解释性（有条理的，可以确保产生决策的数据、场景和假设都是能够被解释清楚的）以及无偏性（不会对某类行为表现出无意识的偏好）。
毫无疑问，这对 ai 系统提出了一系列极为严苛的要求。不过可喜的是，世界上已经有一批来自斯坦福人工智能实验室和斯坦福研究社区的优秀 ai 研究人员（其中包括 clark barrett, david dill, chelsea finn, mykel kochenderfer, anshul kundaje, percy liang, tengyu ma, subhasish mitra, marco pavone, omer reingold, dorsa sadigh 以及 james zou）正在努力解决这个问题。
本文将介绍一些致力于实现安全可靠的 ai 技术的研究案例。我们将从中看到新技术如何理解神经网络的黑盒子、如何找到和消除偏见，以及如何确保自动化系统的安全性。
理解神经网络的黑盒子：可验证性和可解释性虽然神经网络在近年来 ai 领域取得的成就中发挥了关键作用，但它们依旧只是有限可解释性的黑盒函数近似器。即便是试图将有限训练数据泛化到未见过的输入，它们在小的干扰下也可能失败，更何况这种做法还会导致难以验证算法的鲁棒性。
让我们看看当前研究工作的两个案例，它们让研究者可以检验神经网络的内部运作。第一个是关于可验证性，第二个则是关于可解释性。
深度神经网络的可验证性
我们希望确保神经网络能够适用于所有可能的情况，但可验证性在实验方面超出了现有工具力所能及的范围。目前，专用工具只能处理非常小的网络，例如具有 10-20 个隐藏节点的单个隐藏层。katz 等人在论文「reluplex: an efficient smt solver for verifying deep neural networks」（论文地址：/articles/d41586-018-05707-8）中指出偏差可能有两个来源，即训练数据和算法。训练数据中的偏差可能是由于某些群体在数据库中占比过高或过低，解决方案是调查如何策划训练数据。而算法可以放大偏差，因为典型的机器学习程序是试图最大化整个训练数据的整体预测精度，因此解决方案是研究偏差的传播和放大方式。
几何捕获语义
bolukbasi 等人在论文「man is to computer programmer as woman is to homemaker debiasing word embeddings」（/gair/coupon/s/5d1b08d0e20ce
/gair/coupon/s/5d1b08d0e1e17
/gair/coupon/s/5d1b08d0e1b53
/gair/coupon/s/5d1b08d0e1873
/gair/coupon/s/5d1b08d0e1585
/gair/coupon/s/5d1b08d0e1289
/gair/coupon/s/5d1b08d0e0f24