摘要：
摘自：javasricpt语言精粹，写的太精彩了，忍不住要写下来与大家分享。 “javascript函数是对象，所以它们可以像任何其他的值一样被使用。函数可以放在变量，对象和数组中。函数可以被当作参数传递给其他的函数，函数也可以再返回函数。而且，因为函数是对象，所以函数可以拥有方法。” 读完这句话， 阅读全文
posted @ 2017-03-06 17:12
程序员大V
阅读(214)
评论(0)
推荐(0)
摘要：
大数据量实时统计排序分页查询的瓶颈不是函数（count，sum等）执行， 不是having, 也不是order by，甚至不是表join, 导致慢的原因就在于“数据量太大本身” 就是将表划分为M份相互独立的部分,可以是分表，也可以是不分表但冗余一个取模结果字段 实际结果是不分表比分表更加灵活，只需稍 阅读全文
posted @ 2017-03-06 15:33
程序员大V
阅读(2679)
评论(0)
推荐(0)
摘要：
我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序。 Linux命令：cat url.log | sort | uniq -c |sort -n -r -k 1 -t ' ' | awk -F 阅读全文
posted @ 2017-03-06 15:26
程序员大V
阅读(244)
评论(0)
推荐(0)
摘要：
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本 阅读全文
posted @ 2017-03-06 15:17
程序员大V
阅读(2241)
评论(1)
推荐(1)
摘要：
介绍性内容来自：http://www.uml.org.cn/sjjm/201305171.asp 一、Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmo 阅读全文
posted @ 2017-03-06 15:06
程序员大V
阅读(105)
评论(0)
推荐(0)
摘要：
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 阅读全文
posted @ 2017-03-06 15:00
程序员大V
阅读(134)
评论(0)
推荐(0)
摘要：
Hbase，一个NoSQL数据库，可存储大量非关系型数据。 HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是一个数据库，但是它的查询语句，很不太好用。要是能像使用MySQL等关系型数据库一样用sql语句操作HBase，那就很Perfec 阅读全文
posted @ 2017-03-06 13:40
程序员大V
阅读(924)
评论(0)
推荐(0)
浙公网安备 33010602011771号