R语言为Hadoop集群数据统计分析带来革命性变化
摘要:R作为开源的数据统计分析语言正潜移默化的在企业中扩大自己的影响力。特有的扩展插件可提供免费扩展,并且允许R语言引擎运行在Hadoop集群之上。R语言是主要用于统计分析、绘图的语言和操作环境。R本来是由来自新西兰奥克兰大学的Ross Ihaka和Robert Gentleman开发。(也因此称为R)现在由“R开发核心团队”负责开发。R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用 S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。R的源代码可自由下载使用,亦有已编译的可执行文件版本可以下载,可在多种平台下运行,包括UNIX(也包括FreeBSD和L
阅读全文
posted @
2011-09-29 19:09
PhoenixZq
阅读(341)
推荐(0)
最大堆排序
摘要:#include <iostream>#include <vector>using namespace std;inline int leftChild(int i){ return 2*i+1;}template <typename Comparable>void percDown(vector<Comparable>& a,int i,int n){ int child; Comparable tmp; for(tmp = a[i];leftChild(i) < n;i = child) { child = leftChild(
阅读全文
posted @
2011-09-25 22:07
PhoenixZq
阅读(265)
推荐(0)
位运算应用口诀和实例
摘要:位运算应用口诀清零取反要用与,某位置一可用或若要取反和交换,轻轻松松用异或移位运算要点 1 它们都是双目运算符,两个运算分量都是整形,结果也是整形。 2 "<<" 左移:右边空出的位上补0,左边的位将从字头挤掉,其值相当于乘2。 3 ">>"右移:右边的位被挤掉。对于左边移出的空位,如果是正数则空位补0,若为负数,可能补0或补1,这取决于所用的计算机系统。 4 ">>>"运算符,右边的位被挤掉,对于左边移出的空位一概补上0。位运算符的应用 (源操作数s 掩码mask)(1) 按位与-- &am
阅读全文
posted @
2011-09-25 13:03
PhoenixZq
阅读(274)
推荐(0)
常用 大数据量、海量数据处理 方法 / 算法总结
摘要:大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。1.Bloom filter适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集基本原理及要点:对于原理来说很简单,位数组+k个独立hash函数。将hash函数对应的值的位数组置1,查找时如果发现所有hash函数
阅读全文
posted @
2011-09-24 16:36
PhoenixZq
阅读(1104)
推荐(0)
找出一个字符串中最长的连续回文
摘要:题目:找出一个字符串中最长的回文,比如goooogleel,最长回文是goooog分析:第一,定义一个pStr指向字符串str,再定义一个p指向pStr,q指向pStr+1;第二,找出一个字符*p与其下一个字符*q相同位置,比如oo,num++,index = p;然后比较这两个相同字符*p,*q两边的字符是否相等,如果相等再向两边扩展p--,q++(p>str&&q!='\0')。如果p指向首部,即p=str,则调出while循环,再比较一次if(*p == *q),num++,index = q.第三,如果发现连续两个字符不相等,则让pStr++,p=
阅读全文
posted @
2011-09-19 15:59
PhoenixZq
阅读(4149)
推荐(0)
找出一个字符串中最长连续相同子串
摘要:题目:找出一个字符串中最长连续相邻子串,比如ababcabc,最长连续字串是abc。分析:第一步,首先定义一个指针pStr定位于字串首部,再定义一个指针qStr指向pStr的下一个,然后qStr++找出与*pStr相同的字符;第二步,如果找到*qStr==*pStr,则递增两个指针,并计算下相同字符的数目num和这段相同子字符串的index。第三步,如果*qStr!=*pStr,则设置num=0。接着转向第一步...第四步,定义一个maxNum和一个maxIndex,记录最长子字符串的长度和位置。如果一个新的num>maxNum,则maxNum=num,maxIndex=index。#i
阅读全文
posted @
2011-09-19 11:26
PhoenixZq
阅读(8433)
推荐(0)