摘要：一、大数据的基本处理步骤1）数据获取 flume 数据来源:专业数据机构,国家统计局,企业内部数据,互联网数据2）数据清洗 mapreduce 清除不需要,错误,无效的数据3）数据存储 hdfs 性能,可用,可靠,成本等方面考量4）数据处理 hive 按业务需求处理5）数据分享 sqoop,kett 阅读全文

摘要：原文链接：http://luojinping.com/2017/08/13/%E6%9C%8D%E5%8A%A1%E8%B0%83%E4%BC%98/ 1. 服务异常的处理流程 2. 负载 2.1 查看机器 cpu 的负载 2.2 查找 cpu 占用率高的线程 （1）CPU（2）Memory（3）I 阅读全文

摘要：记住一定不要用如下命令： keys user* keys算法是遍历算法，复杂度是O(n)，也就是数据越多，时间越高。 如果以user为前缀的key数据量达到几百万，keys这个指令就会导致 Redis 服务卡顿，因为 Redis 是单线程程序，顺序执行所有指令，其它指令必须等到当前的 keys 指令 阅读全文

摘要：平台安全性可以从如下几点进行考虑 1、源代码的安全 私有的gitlab代码管理平台，只能在公司内网访问；代码权限的严格管理：给开发人员分配相应代码库的适当权限 2、用户信息的安全 平台上的用户数据泄露主要有以下几种方式： 黑客利用平台存在的安全漏洞入侵网站，盗取用户数据库; （尽量提高我们网站的安全 阅读全文