SFTSGLY的博客空间

摘要： 阅读全文

摘要： 随机响应技术抛硬币案例 抛硬币极大似然估计 第一步：计算出患病和不患病的概率 第二步：构造极大似然函数 第三步：求出患病人数预估结果 EM算法 1、贝叶斯公式计算实验使用了哪个硬币 已知 硬币A正面朝上概率0.6 硬币B正面朝上概率0.5 设 事件A：使用A硬币进行实验 事件B：实验结果抛十次正反朝 阅读全文

摘要： 动机 1、运营商需要分析用户数据 （1）用于维护平台性能与分析报错（2）为用户服务提供安全保障 2、收集用户数据会带来的困境 （1）收集用户数据会损害用户隐私（2）不收集会难以改进服务 3、当时拥有的方法不尽人意 （1）降低收集的数据信息粒度（2）一定时间后强制删除收集数据提供的隐私保护程度有限 实 阅读全文

摘要： 1、差分隐私数据库 只回答聚合查询的结果，向结果中添加噪声来满足差分隐私 例子：微软的PINQ、Uber的Chorus 技术难点： (1) 如何用尽量少的噪声来完成差分隐私的目的，尤其是在查询需要连接多张数据库表的时候 (2) 如何高效计算查询的敏感度(度量一个函数或查询对个人数据的影响程度) (3 阅读全文

摘要： 一、什么是差分隐私（定义） 差分隐私是一种保护数据隐私的方法，通过添加噪声来扰动原始数据，进而确保数据在输出时受单条记录的影响始终低于某个阈值,使得攻击者无法使用差分攻击推断出个体的敏感信息。 二、简单的例子 （1）差分攻击 图一：差分隐私攻击 假设现在有一个婚恋数据库，2个单身8个已婚，只能查有多 阅读全文

摘要： 1、RPC通信原理 2、NameNode 3、DataNode 4、HDFS 5、Yarn 阅读全文

摘要： 1、NameNode内存生产配置 （1）NameNode内存计算 每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte （2）Hadoop3.x系列，配置Nam 阅读全文

摘要： 1、Yarn基础架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 2、Yarn工作机制 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Applic 阅读全文

摘要： 1、OutFormat数据输出 2、MapTask工作机制 （1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处 阅读全文

摘要： 1、MapReduce的定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2、优缺点 优点：（1）Ma 阅读全文