pinoky

摘要： 排序详解 用户-笔记的交互：点击率、点赞率、收藏率、转发率 排序的依据：预估点击率、点赞率、收藏率、转发率 + 融合这些预估分数 + 根据融合的分数做排序和阶段 多目标模型（工业界普遍使用的模型） 模型结构：把用户特征、物品特征、统计特征、场景特征作为输入，输出对各个指标的预估（即前文所说的点击率， 阅读全文

摘要： 推荐系统的链路 召回：快速从海量数据取回几千个用户可能感兴趣的物品，每条召回通道取回几十到几百篇 排序 粗排：用小规模的模型的神经网络给召回的物品打分，然后做截断，选出分数最高的几百个物品。 精排：用大规模神经网络给粗排选中的几百个物品打分，可以做截断，也可以不做截断。 重排：对精排结果做多样性抽样 阅读全文

摘要： Spark学习（二）：RDD详解 RDD API 一般来说有三种创建RDD的方式 由外部存储系统的数据集创建（比如本地的文件系统，同时兼容所有Hadoop支持的数据集）：sc.textFile 通过已有的RDD通过算子转换生成新的RDD：rdd1.flatMap(_.split(" ")) 通过一个 阅读全文

摘要： 2024.9.14腾讯广告一面时，被问到是否了解Spark，彼时对Spark毫无接触故答不了解，面试结束后了解到Spark与MapReduce渊源颇深，去年夏天学习MIT6.824分布式系统设计时曾深入学习过MapReduce（分布式学习：MapReduce - pinoky - 博客园 (cnbl 阅读全文

摘要： 网络IO 典型的一次IO两个阶段是：数据准备和数据读写 在数据准备阶段，根据系统IO操作的准备状态，分为两种 阻塞：比如int size = recv(sockfd, buf, 1024, 0);如果sockfd没有数据的话，当前线程会阻塞在此处，数据可读时唤醒 非阻塞：比如以上的语句把sockfd 阅读全文

摘要： IO多路复用源码分析 select源码分析 select函数可以同时监听多个文件描述符，当某个文件描述符就绪时，select函数返回，程序可以通过遍历文件描述符集合来确定哪些文件描述符已经就绪，随后可进行相应的操作 fd_set rfds; FD_ZERO(&rfds_storage); //清空位 阅读全文

摘要： Raft算法 一致性算法的要求： 安全性，网络延迟、分区、丢包、重复和乱序等错误需要保证正确 可用性：集群中只需要大多数机器即可运行 不依赖时序保证一致性 三种状态：follower，candidate，leader 任期：逻辑时钟的作用，每一段任期从一次选举开始 分票可能会导致一个任期没有lead 阅读全文

摘要： MapReduce的设计 MapReduce 是一种用于处理大规模数据集的编程模型和处理框架，它执行的三个阶段： map阶段：master将输入数据分成M个独立数据块，并将每一个数据块交给一个map-worker来执行map任务（将输入数据转换为键值对的形式，然后对每个键值对执行某种操作，生成中间结 阅读全文

摘要： 数据类型与底层原理 数据结构 哈希表 redis使用链式哈希来解决哈希冲突，其Hash表实质上是一个二维数组，其中每一项就是一个指向哈希项（dictEntry）的指针 typedef struct dictht { dictEntry **table; //二维数组 unsigned long si 阅读全文

摘要： 主从库与切片集群机制 主从复制源码剖析 redis的主从复制主要包括全量复制RDB文件，增量复制，长连接同步，使用了基于状态机的设计思想，来实现不同状态和状态间的跳转 基于状态机实现的话，在开发程序时只需要考虑不同状态下具体要执行的操作，以及状态之间的跳转条件即可 四大阶段 初始化阶段：将实例A设置 阅读全文