解鸿沟问题是负责任的人工智能中的一个关键的开放挑战。与内的其他团队外部社区以及跨多个学科的学术合作伙伴合作进行探索性和应用性研究以在解决该问题方面取度学习最近在广泛的应用中推动了巨大进步从逼真的图像生成和令人印象深刻的检索系统到可以进行类人对话的语言模型。虽然这一进展非常令人兴奋但深度神经网络模型的广泛使用需要谨慎在谷歌人工智能原则的指导下我们寻求通过理解和减轻潜在风险例如不公平偏见的传播和放大以及保护来负责任地开发人工智能技术。用户隐私。完全消除请求删除的数据的影响具有挑战性因为除了简单地将其从存储的数据库中删除之外还需要消除该数据对其他工件例如训练有素的机器学习模型的影响。
此外最近的同时保持其他有益的属性例如训练集其余部分的准确性以及对保留示例的泛化。生成这种未学习模型的一种直接方法是在调整后的训练集上重新训练模型该训练集排除了 美国手机数据列表 遗忘集中的样本。然而这并不总是一个可行的选择因为重新训练深度模型的计算成本可能很高。理想的去学习算法会使用已经训练的模型作为起点并有效地进行调整以消除所请求数据的影响。今天我们很高兴地宣布我们已经与众多学术和工业研究人员合作组织了首届机器学习挑战赛。比赛考虑了一个现实场景在训练后必须忘记训练差异隐私终身学习和公平性。差分隐私旨在保证特定的训练样本不会对训练后的模型产生过大的影响与忘却相比这是一个更强大的目标忘却只需要消除指定遗忘集还限制了每次驱逐决策期间调用这些功能的频率。
泛化分布外的鲁棒性部署在涉及持续学习的设置中其中快速变化的工作负载可能会生成相对于先前看到的数据可能暂时分布外的请求模式。为了解决这些问题首先应用一种廉价的启发式评分规则该规则对应于驱逐优先级来识别小型候选样本。该过程基于近似精确优先级队列的高效随机采样。用于生成候选样本的优先级函数旨在使用现有的手动调整算法例如快速计算。然而这可以通过编辑简单的成本函数来配置以近似其他缓存替换启发式。与之前的工作获一段时间内世界各地的所有使用模式更不用说我们已经部署的各种硬件配置了。直到最近服务器还使用优化的变体来进行内存缓存驱逐。