摘要:我们建立了一个隐私保护的深度学习系统,在这个系统中,许多学习参与者对组合后的数据集执行基于神经网络的深度学习,而实际上没有向中央服务器透露参与者的本地数据。为此,我们重新回顾了Shokri和Shmatikov(ACM CCS 2015)之前的工作,并指出本地数据信息实际上可能泄漏给诚实但好奇的服务器。然后,我们通过构建一个具有以下特性的增强系统来解决这个问题:(1)没有向服务器泄漏任何信息;(2)与普通的深度学习系统相比,在合并的数据集上,精度保持不变。
阅读全文
摘要:(转载)本文将讨论一个简化了的图像分析案例,介绍所有需要用到的技术。GitHub上有一些和本文配套的notebook(mortendahl/privateml),其中主要的notebook提供了概念证明实现。
阅读全文
摘要:我们为机器学习中的分布式优化引入了一个越来越相关的新设置,其中规定优化的数据在极大量的节点上分布不均匀。我们的目标是训练一个高质量的集中式模型。我们将此设置称为联邦优化。在这种情况下,通信效率至关重要,最大限度地减少通信轮数是主要目标。
阅读全文
摘要:今天的人工智能仍然面临两大挑战。一种是,在大多数行业中,数据以孤岛的形式存在。二是加强数据隐私和安全。我们提出了一个解决这些挑战的可能方案:安全联邦学习。除了谷歌在2016年首次提出的联邦学习框架外,我们还引入了一个全面的安全联邦学习框架,其中包括横向联邦学习、纵向联邦学习和联邦迁移学习。我们为联邦学习框架提供定义、架构和应用程序,并提供关于这个主题的现有工作的全面调查。此外,我们提出在组织之间建立基于联邦机制的数据网络,作为一种有效的解决方案,以允许在不损害用户隐私的情况下共享知识。
阅读全文
摘要:现代移动设备可以访问大量适合模型学习的数据,从而大大改善设备上的用户体验。例如,语言模型可以改善语音识别和文本输入,图像模型可以自动选择好的照片。然而,这些丰富的数据往往对隐私敏感,数量庞大,或者两者兼而有之,这可能会妨碍登录到数据中心并使用传统方法进行训练。我们提倡一种替代方法,将训练数据分布在移动设备上,并通过聚集本地计算的更新来学习共享模型。我们将这种去中心化的方法称为联邦学习。我们提出了一种基于迭代模型平均的深度网络联邦学习的实用方法,并对五种不同的模型结构和四种数据集进行了广泛的实证评估。这些实验表明,该方法对不平衡和非独立同分布(non-IID)的数据分布具有鲁棒性,这是该设置的一个定义特征。通信成本是主要的限制条件,与同步随机梯度下降相比,我们所需的通信轮数减少了10–100倍。
阅读全文
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract: 我们提出了一种新的方法,通过端到端的训练策略来学习深度架构中的可压缩表征。我们的方法是基于量化和熵的软(连续)松弛,我们在整个训练过程中对它们的离散对应体进行了退火。我们在两个具有挑战性的应用中展示了这种方法:图像压缩
阅读全文
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract: 在深度学习的最新进展的启发下,我们提出了一种基于卷积神经网络(CNN)的视频压缩框架DeepCoder。我们分别对预测信号和残差信号应用独立的CNN网络。采用标量量化和哈夫曼编码将量化后的特征映射编码为二进制流。本文采
阅读全文
摘要:详见: https://www.cnblogs.com/ranson7zop/p/8037429.html http://www.cipr.rpi.edu/resource/sequences/ http://trace.eas.asu.edu/yuv/index.html (YUV Video S
阅读全文