摘要: 找到​hadoop-config.sh(2.6.0的是在libexec文件夹下)找到最后一行if["$HADOOP_CLASSPATH"!=""];then#Prefixitifitstobeprecededif["$HADOOP_USER_CLASSPATH_FIRST"!=""];thenCLA... 阅读全文
posted @ 2015-02-17 19:19 DanNi蓝天 阅读(748) 评论(0) 推荐(0)
摘要: 参考资料:http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下,一个file被分成很多个block,每个block被分配到两个rack(机架)的共3个DataNode上,也就是有两个备份。在NameNode保存了每个block对应的Dat... 阅读全文
posted @ 2015-02-17 13:56 DanNi蓝天 阅读(158) 评论(0) 推荐(0)
摘要: 安装过程:1. 安装jdk,下载Cygwin 地址:https://cygwin.com/install.html2. 安装过程参考http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html3. 安装sshd过程ssh-host-co... 阅读全文
posted @ 2015-02-13 20:24 DanNi蓝天 阅读(539) 评论(0) 推荐(0)
摘要: 看一篇论文中遇到了这个技术,感觉很新奇,查了查资料感觉还是挺新颖的。算是一个想到的机制却没想到这么快就已经实现了。重点: Mashup是一种令人兴奋的交互式Web应用程序,它利用了从外部数据源检索到的内容来创建全新的创新服务。第一个关键词是“交互式”。实际生活中的Mashup应该是面向广大普通使用... 阅读全文
posted @ 2015-02-10 13:33 DanNi蓝天 阅读(190) 评论(0) 推荐(0)
摘要: 首先说一下我的环境 :主机windows7,虚拟机是vmware8.0.4,linux为ubuntu12.0.4。 问题一:解决linux不能上网 刚开始没有注意这个问题。后来发现系统中没有带这个功能,需要使用sudo apt-get update来更新一下。但是总是出现忽略或者错误之类的提示,后来意识到是网络不通的问题,虽然现实是连接上了网络,但是ping外网根本不通。这里通过简单的设置nat模式即可以上网。但是这样ftp服务器和主机是无法通讯的。我的情况是linux可以ping通主机,主机ping不通linux网卡。经过无数次尝试及查找。最后总结出来共享: 首先明确的是这里有4块... 阅读全文
posted @ 2013-07-22 18:29 DanNi蓝天 阅读(669) 评论(0) 推荐(0)
摘要: 问题其实不是最终目的,罗列问题主要是为了找到一些研究的具体方向。作为我自己,就是希望能明确一下接下来深入学习的切入点。推荐系统发展到现在已经得到了广泛的应用,但还存在一些问题。 热点核心问题就是数据稀疏性。很容易理解,比如线上有成千上万部电影,但我们看过的为数不多,评过分的就更少了。在所有用户集上来看,这个问题就严重了。一般用户-项目矩阵稀疏度都会在99%以上。这对于所有的推荐算法的计算来说,都会产生很大的影响,降低了推荐的准确度。这个问题就解决来说,常用的方法是填充矩阵。 第二,冷启动问题。它可以说是数据稀疏性的一个极端。也就是完全没有数据。但这在实际系统中是经常会出现的,比如新物品... 阅读全文
posted @ 2013-06-20 15:23 DanNi蓝天 阅读(349) 评论(0) 推荐(1)