摘要：
谈到大数据，大家首先想到的肯定是Hadoop，近年来互联网技术的快速增长催生了各类大体量数据的爆发，Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据，为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据，但是它并不提供任何性能上的保证。从这个角度来 阅读全文
posted @ 2017-07-16 14:37 天戈朱 阅读(5691) 评论(1) 推荐(0) 编辑
摘要：
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。在选择不同的流处理系统时，通常会关注以下几点： 运行时和编程模型：平台 阅读全文
posted @ 2017-07-05 23:36 天戈朱 阅读(11894) 评论(0) 推荐(1) 编辑
摘要：
前面的两篇文章介绍了geohash的基本原理及c#代码相关实现，其中geohash 5位编码单个网格覆盖面积大约在24平方千米，6位编码单网格覆盖面大约在0.73平方千米， 相邻编码长度之间单网格覆盖面积跨度太大，在实际应用中希望计算出3平方千米、5平方千米、10平方千米的覆盖率，可行的方案在Geo 阅读全文
posted @ 2017-06-07 06:42 天戈朱 阅读(5483) 评论(4) 推荐(0) 编辑
摘要：
参考： 上海新能源汽车目录车型参数 https://wenku.baidu.com/view/c62c598980eb6294dd886c9d.html 新能源汽车主流车型参数汇总整理-2015年12月 https://wenku.baidu.com/view/69f404a8011ca300a7c 阅读全文
posted @ 2017-05-28 11:44 天戈朱 阅读(343) 评论(0) 推荐(0) 编辑
摘要：
mark： 整体架构及使用的技术中规中矩，使用也是比较常的一些技术栈 关注： 参考： 阅读全文
posted @ 2017-05-27 08:54 天戈朱 阅读(867) 评论(0) 推荐(0) 编辑
摘要：
mark： 新方向：原来我们讲的 Iaas/Paas/Saas 三层平台，未来运营商的大数据平台将向更深层次方向演进，如：Paas ( T-Paas、D-Paas) mark架构中的新技术：kudu、Ceph、OGG(Oralce GoldenGate)、RHadoop、TiDB mark自主研发X 阅读全文
posted @ 2017-05-27 08:53 天戈朱 阅读(3084) 评论(0) 推荐(0) 编辑
摘要：
Kibana 和 Grafana 是两个开源工具，能可视化和推断大量日志数据内的趋势。Kibana 是一个分析和可视化平台，它可以让你浏览、可视化存储在Elasticsearch集群上排名靠前的日志数据，并构建仪表盘。你可以执行深入的数据分析并以多种图表、表格和地图方式可视化这些数据。Grafana 阅读全文
posted @ 2017-05-17 21:01 天戈朱 阅读(5785) 评论(2) 推荐(0) 编辑