Stan Zhai's Blog

摘要： 假设这里出错的表为test表。 现象 Hive读取正常，不会报错，Spark读取就会出现： 在hive中执行 然后找到hdfs存储路径。然后 会发现，报错的路径确实不存在。 这也能说明为什么Spark读取会报错，确实找不到那个路径了。 问题分析 在hive中执行 ，查看test表对应的所有分区。 看 阅读全文

摘要： 鄙人使用的Hadoop版本为2.6.4。Hadoop的默认日志级别为INFO，对于百台以上的集群，如果文件操作频繁的话，NameNode会狂打日志，对性能会有一定的影响。 我们可以通过 在线修改NameNode的日志级别。如下所示： 但是，如果NameNode重启的话，又得重新设置，好麻烦。 怎么设 阅读全文

摘要： 比较喜欢落网的音乐，听落网也有1年多了，不知道落网的园友点这里：去年曾经写过一篇文章解决落网音乐不能下载的问题：[落网的音乐很好听的，你造么？不能下载啊，怎么破？](http://www.cnblogs.com/jasondan/p/luoo-down.html)时隔一年，落网早已改版，原来基于ht... 阅读全文

摘要： 告别了忙碌的2014，依然在忙碌中迎来了2015。2014，和女朋友异地的第三年，也是最后一年，这一年发生了太多太多的事情。工作越来越忙，自己需要充电的东西也越来越多，弟弟和女朋友在15年会同时毕业，两个人工作的问题都是让我很揪心，毕竟他们没人带着，学校的老师大多是不靠谱的，中国最不缺的就是人，我得... 阅读全文

摘要： ## 事因最近因为工作特别忙，没怎么光顾博客园，今天睡觉前，想想看看博客园吧，随便点了点阅读排行的东西，发现有篇《GitHub上整理的一些工具》感觉比较有意思就进去看了看，发现内容怎么越看越熟悉啊，再一看不对劲啊，这不是我的文章么，通篇看完后，发现除了标题改了，内容跟我的完全一样，这是赤裸裸的抄袭啊... 阅读全文

摘要： 最近做项目时，引用了一个第三方的程序集，代码层面没有任何语法错误，编译提示：命名空间“System.Net”中不存在类型或命名空间名称“FtpClient”。是否缺少程序集引用? E:\Project\xxx\Services\SyncTask.cs 6 18 xxx。找了大半天没有找到错误原因，最... 阅读全文

摘要： 使用Git时，在pull、merge、rebase的过程中，经常会遇到conflict的情况。遇到conflict时，以上处理过程会终端，并且命令行中显示（xxx|MERGING）的状态（Windows下Git Bash中显示的状态）。命令行下解决冲突的方法为：使用任意的文本编辑工具编辑有冲突的文件... 阅读全文

摘要： ## 关于PhantomJS[PhantomJS](http://phantomjs.org/) 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SV... 阅读全文

摘要： 最近折腾爬虫，后端使用jQuery进行数据采集，一般都是先从浏览器中将采集代码调试好后直接放到后端跑了。有些网址没有引用jQuery，那调试起来就不方便了，可以用以下代码动态添加script标签，将jQuery引用到页面中。```var scriptBlock = document.createEl... 阅读全文

摘要： 运行Spark服务，需要在每个节点上部署Spark。可以先从主节点上将配置修改好，然后把Spark直接scp到其他目录。## 关键配置修改`conf/spark-env.sh`文件：```export JAVA_HOME=/usr/java/latestexport HADOOP_CONF_DIR=... 阅读全文