仙守

摘要： 隐私集合求交，PSI，即private set intersection， 看到一篇讲解psi很细致的文章，想着搭配流程图会更容易理解 0 引言 隐私集合求交，就是在双方不泄露任何额外信息基础上，得到双方的数据交集。也就是双方PSI之后，只知道哪些数据对方也有，除此之外一无所知。对于PSI，我们可以 阅读全文

摘要： [TOC] ## 0 引言  transformer这个框架现在可谓是遍地开花，继最开始的AE，CNN，RNN，到现在 阅读全文

摘要： 0 背景 隐私计算分为: 联邦学习 多方安全计算 可信执行技术 联邦学习主要在于解决不同数据孤岛之间的信息共享问题，在数据不出本地的基础上，完成更上层的信息共享。联邦学习中的横向联邦学习，其形式有点类似分布式机器学习，但是本质不是同一个东西。 但是联邦学习领域存在一个定义不同的现象，就是： 老外，比 阅读全文

摘要： 0 背景 通常我们使用tensorflow访问的基本都是本地文件，亦或是给定hdfs路径，让其访问hdfs文件，而新晋的minio可很好地生成s3兼容的api接口，从而让tensorflow直接读取minio建立的分布式文件系统。本文简单基于单机minio形式讲解如何从头让tensorflow访问m 阅读全文

摘要： 联邦学习大火，主要是解决数据孤岛问题，即如何在符合数据隐私的基础上，实现多方数据不出本地，但是却能联合训练一个共有大模型的目的，对于需要中心的纵向联邦学习，是需要中心先下发公钥，而后期会出现中心能够完全掌握整个模型的情况。那么在更严格情况，AB都互不信任，C放在哪都不合适。 1 准备部分 这里以线性 阅读全文

摘要： 本人虽然研二开始接触cuda，但是终究未从事cuda开发，故而皆为零零散散的知识，虽然看了好几本cuda编程的书籍以及官网的文档（肯定没看全啊，我也不是专门从事cuda开发），市面上几乎都是关于如何cuda编程的书籍，而这些书籍中也看过不少《CUDA C编程权威指南》，《CUDA专家手册》，《CUD 阅读全文

摘要： bandsnatch 不好用，不符合自己心意，所以自己就简单弄了个同步的 # -*- coding: utf-8 -*- import re import os import shutil import urllib import json import copy import wget impor 阅读全文

摘要： ### 1 引言 方便检索 ### 2 名词解释 **FLOPS**：“每秒浮点运算次数”，“每秒峰值速度”，是“每秒所执行的浮点运算次数”（floating-point operations per second）的缩写。所谓的“浮点运算”，实际上包括了所有涉及小数的运算。这类运算在某类应用软件中 阅读全文

摘要： 先定义几个关键字： 任务：用户一次上传的数据集并发起的automl任务，比如一次ocr任务，一次图像分类任务。 模型：一次任务中，需要运行的多个模型，比如ocr任务，需要ctpn模型，需要crnn模型。 单模型：一个模型只需要单个节点即可（只适合小数据集）； 分布式模型：一个模型需要多个节点才能运行 阅读全文

摘要： 很多时候，我们是基于python进行模型的设计和运行，可是基于python本身的速度问题，使得原生态python代码无法满足生产需求，不过我们可以借助其他编程语言来缓解python开发的性能瓶颈。这里简单介绍个例子，以此完成如何先基于cuda编写瓶颈函数，然后在将接口通过cpp进行封装，最后以库的形 阅读全文