摘要： 最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S 阅读全文

摘要： 在推荐系统中，协同过滤算法是应用较多的，具体又主要划分为基于用户和基于物品的协同过滤算法，核心点就是基于"一个人"或"一件物品"，根据这个人或物品所具有的属性，比如对于人就是性别、年龄、工作、收入、喜好等，找出与这个人或物品相似的人或物，当然实际处理中参考的因子会复杂的多。 本篇文章不介绍相关数学概 阅读全文

摘要： 1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针 阅读全文

摘要： 推荐系统是根据用户的行为、兴趣等特征，将用户感兴趣的信息、产品等推荐给用户的系统，它的出现主要是为了解决信息过载和用户无明确需求的问题，根据划分标准的不同，又分很多种类别： 根据目标用户的不同，可划分为基于大众行为的推荐引擎和个性化推荐引擎 根据数据之间的相关性，可划分为基于人口统计学的推荐和基于内 阅读全文

摘要： 概述 在使用RabbitMQ的时候，我们可以通过消息持久化操作来解决因为服务器的异常奔溃导致的消息丢失，除此之外我们还会遇到一个问题，当消息的发布者在将消息发送出去之后，消息到底有没有正确到达broker代理服务器呢？如果不进行特殊配置的话，默认情况下发布操作是不会返回任何信息给生产者的，也就是默认 阅读全文

摘要： 散列表 Python 用散列表来实现 dict。散列表其实是一个稀疏数组（总是有空白元素的数组称为稀疏数组）。在一般书中，散列表里的单元通常叫做表元（bucket）。在 dict 的散列表当中，每个键值对都占用一个表元，每个表元都有两个部分，一个是对键的引用，一个是对值的引用。因为每个表元的大小一致 阅读全文

摘要： 1、6611 的 slot 5731 move失败。 redis-cluster在reshard时失败，提示信息如下：All nodes agree about slots configuration. Check for open slots...Node 172.28.192.84:6430 h 阅读全文

摘要： 作者：无所不能的小裁缝链接：https://www.zhihu.com/question/51378885/answer/207497660来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter 阅读全文

摘要： 前几天发现在Linux系统下有一个很大的无用文件，于是用rm -rf 删除，然后用df -h查看磁盘空间，发现即使文件被删除了，但文件所占用的空间并未释放，十分疑惑，于是在网上找到了解决方案，即使用lsof | grep deleted查看占用的进程并kill相关进程。 具体情况是这样，使用rm - 阅读全文

摘要： 一、背景 随着公司业务的发展，商品库存从商品中心独立出来成为一个独立的系统，承接主站商品库存校验、订单库存扣减、售后库存释放等业务。在上线之前我们对于核心接口进行了压测，压测过程中出现了 MySQL 5.6.35 死锁现象，通过日志发现引发死锁的只是一条简单的sql，死锁是怎么产生的？发扬技术人员刨 阅读全文