Thinking in BigData

摘要： zookeeper3.4.11 http://zookeeper.apache.org/ 一 简介 ZooKeeper is a centralized service for maintaining configuration information, naming, providing dist 阅读全文

摘要： 《喜剧之王》里看到了演员的自我修养，然后想聊下码农的财富修养，这里不是聊理财，更多是保险Insurance；保险是什么，是一种通过支付少量的保险费用来应对未知风险的机制，比如车险、财险、健康险等；码农有什么需要保险的地方呢？股权Sharestock！海外是很多高科技公司上市的天堂，然后就会有很多码农 阅读全文

摘要： 问题 有一个发送100w短信的任务，如何尽量缩短发送时间，同时在中途因为各种原因任务挂掉时，比如发送完50w时任务挂掉，重启任务之后只发送剩余50w短信？ 这是一个比较通用的问题，容易想到的办法是： 方案一 步骤 使用数据库来存放所有数据（比如100w条待发送短信），同时设置status，未处理是0 阅读全文

摘要： Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程： hadoop 225 阅读全文

摘要： 最近hbase集群很多region server挂掉，查看其中一个RegionServer1日志发现，17:17:14挂的时候服务器压力很大，有大量的responseTooSlow，也有不少gc，但是当时内存还有很多剩余，不是因为oom被kill 2018-03-13T17:17:13.372+08 阅读全文

摘要： 背景 假设一个应用有很多的用户位置信息基础数据，抽象数据格式如下： user_id date time address province city district latitude longitude user1 2018-01-01 12:00:00 北京市朝阳区朝阳大悦城 北京 北京 朝阳 1 阅读全文

摘要： 提到大数据，就不得不提到Hadoop，提到Hadoop，就不得不提到Google公布的3篇研究论文：GFS、MapReduce、BigTable，Google确实是一家伟大的公司，开启了全球的大数据时代， 在《后谷歌时代：大数据的没落与区块链经济的崛起》中如此说道： googol一词的意思是10的1 阅读全文

摘要： 常见流程图如下： 但是一个规范的流程图由Fork和Join组成，上述流程图规范之后如图： 任给一个不规范的流程图，如何通过代码将其自动规范化？ 阅读全文