04 2015 档案

hbase操作的问题
摘要：写了一个java程序，需要向hbase中写入大量的数据，但是这个程序执行一半就报错，问题是，此时已经写入了很多数据。查看jps，发现hmaster进程崩溃了。基于以上信息，发现是在程序中，链接hbase后没有释放链接。导致链接达到hbase上限。添加close()，解决问题。 阅读全文
posted @ 2015-04-20 22:20 ElNinoT 阅读(120) 评论(0) 推荐(0)
hadoop+hbase
摘要：hadoop的配置见下面这篇文章http://www.powerxing.com/install-hadoop-2-4-1-single-node/Hadoop安装教程_单机/伪分布式配置_Hadoop2.4.1_Ubuntu14.04 2014-08-09 (updated: 2014-12-30... 阅读全文
posted @ 2015-04-20 22:18 ElNinoT 阅读(269) 评论(0) 推荐(0)
linux故障救援
摘要：今天手贱，误操作将/usr/lib整个文件夹都删了。但是系统内还有很多重要的文件和数据，不敢贸然重装系统。弄了个u盘启动。一开始整个系统只有一个分区，原系统装在这个分区里，我用u盘启动后，用分区管理工具重新格式化一个新的分区为/dev/sda6。在新的分区中安装一个操作系统，这个操作系统的版本和旧的... 阅读全文
posted @ 2015-04-19 23:45 ElNinoT 阅读(166) 评论(0) 推荐(0)
管道命令xargs
摘要：在研究hadoop的过程中，遇到一个小难题。问题描述：我需要将文件夹A下的文件拷贝到文件夹B中，但是以hadoop开头的文件不要拷贝。问题解决：ls A|grep -v hadoop|xargs -t -I {} cp {} /B解释：grep -v 是反选。xargs命令的功能是将管道传来的的信息... 阅读全文
posted @ 2015-04-18 15:41 ElNinoT 阅读(220) 评论(0) 推荐(0)
hadoop浅尝 hadoop与hbase交互
摘要：在安装好hbase之后，运行一个与hadoop无关的纯hbase程序成功了。接着写一个hadoop与hbase进行交互的小程序，这个程序的运行方法依然与前文相同，即导出jar文件在shell下运行。但是却报错找不到类。经过在网上的一番搜索，发现是因为hadoop中缺少了与hbase相关的jar文件。... 阅读全文
posted @ 2015-04-18 15:34 ElNinoT 阅读(308) 评论(0) 推荐(0)
linux源代码阅读笔记 free_page_tables()分析
摘要：76 /* 77 * This function frees a continuos block of page tables, as needed 78 * by 'exit()'. As does copy_page_tables(), this handles only 4Mb block... 阅读全文
posted @ 2015-04-17 15:40 ElNinoT 阅读(657) 评论(0) 推荐(0)
词法分析器flex的使用
摘要：词法分析器flex的功能说起来就是一句话，将正则表达式转化为c代码。flex编译成功后会生成一个flex.exe的可执行文件。此时，我们需要一个定义了正则表达式动作的input文件。例如test.l。执行./flex.exe test.l会生成一个c代码文件，lex.cc.y。这个lex.cc.y文... 阅读全文
posted @ 2015-04-16 16:15 ElNinoT 阅读(1247) 评论(0) 推荐(0)
linux源代码阅读笔记 get_free_page()代码分析
摘要：33 /* 34 * Get physical address of first (actually last :-) free page, and mark it 35 * used. If no free pages left, return 0. 36 */ 37 unsigned lo... 阅读全文
posted @ 2015-04-16 15:02 ElNinoT 阅读(2288) 评论(0) 推荐(0)
hadoop浅尝 第一个hadoop程序
摘要：hadoop编程程序员需要完成三个类。map类，reduce类和主类。map和reduce类自然是分别完成map和reduce。而主类则负责对这两个类设置job。完成这三个类之后，我们生成一个jar文件。利用这个jar文件完成剩下的工作。首先，执行 bin/hdfs dfs -put /home/h... 阅读全文
posted @ 2015-04-15 15:05 ElNinoT 阅读(197) 评论(0) 推荐(0)
linux源代码阅读笔记 fork和execve的区别
摘要：1.man exec就可以知到：The exec() family of functions replaces the current process image with a new process imageexec是没有创建新进程的，而是把当前进程对应的应用换成新的应用。因此，它里头当前不会去... 阅读全文
posted @ 2015-04-09 14:56 ElNinoT 阅读(1126) 评论(0) 推荐(0)
linux源代码阅读笔记 find_entry分析
摘要：78 static struct buffer_head * find_entry(struct m_inode * dir, 79 const char * name, int namelen, struct dir_entry ** res_dir)find_entry是linu... 阅读全文
posted @ 2015-04-01 13:50 ElNinoT 阅读(871) 评论(0) 推荐(0)