LEARNING DIFFERENTIALLY PRIVATE R ECURRENT LANGUAGE M ODELS

我们证明了训练具有用户级差异隐私保证的大型递归语言模型是可能的，并且在预测准确性方面的成本可以忽略不计。我们的工作建立在深度网络训练的最新进展基础上，即用户分区数据和考虑随机梯度下降的隐私。特别是，我们将用户级隐私保护添加到联邦平均算法中，该算法从用户级数据进行“大步”更新。我们的工作表明，给定一个拥有足够多用户的数据集（即使是互联网规模较小的数据集也很容易满足这一要求），实现差异隐私的代价是计算量的增加，而不是像大多数以前的工作那样效用的降低。我们发现，当在大型数据集上进行训练时，我们的私有LSTM语言模型在数量和质量上与无噪声模型相似。

contributions
1.我们使用用户相邻数据集的概念将差异隐私应用于模型培训，从而正式保证用户级隐私，而不是单个示例的隐私。
2.我们在§2中介绍了联邦平均算法（McMahan et al.，2016）的一个有噪版本，该算法通过使用矩会计moments accountant（Abadi et al.，2016a）来满足用户相邻的差异隐私，该矩会计moments accountant最初用于分析差异隐私随机梯度下降（SGD），example-level privacy。联邦平均方法将多个SGD更新分组在一起，从而支持大步模型更新。
3.我们在§3中展示了第一个经过严格隐私保障培训的高质量LSTM语言模型，在数据集足够大的情况下，模型精度没有显著下降。例如，在763430个用户的数据集上，基线（非私人）培训的准确度为在4120轮培训中占17.5%，我们在每轮培训中使用100名随机用户的数据。我们使用（4.6,10）达到了相同的精度水平−9）-4980轮中的差异隐私，平均每轮处理5000个用户，以大约60×的显著计算成本保持相同的准确度。1在有10 8个用户的较大数据集上运行相同的计算将使隐私保证提高到（1.2,10）−9 ). 尽管LSTM的内部结构复杂，但我们通过使用联邦平均算法实现了每字嵌入和密集状态转换，从而保证了隐私并维护了实用性。我们证明，有噪模型的指标和定性行为（关于标题词）与非私有模型没有显著差异。据我们所知，我们的工作代表了最复杂的机器学习模型，根据模型的大小和复杂性来判断，该模型曾接受过隐私保障培训，也是第一个接受过用户级隐私培训的此类模型。
4.在§3中的大量实验中，我们提供了训练具有差异隐私保证的复杂模型时的参数调整指南。我们表明，少量的实验可以将参数空间缩小到一个regime中，在这个制度中，我们为隐私付出的代价不是实用性的损失，而是计算成本的增加。
差分隐私对手有强有力的保证：对手在分析参数的基础上了解原始训练数据的能力受到严重限制，即使他们可以访问任意的辅助信息。正式地说，它说：