大墨垂杨

摘要： ■场景 自己编写一个程序（Maven工程，A工程），打成Jar包，然后将打完的Jar包引入到另一个工程（B工程）中。 ■步骤 ①将A工程打成Jar包 ②将A工程上传到Maven的本地仓库 ③在B工程中引入A工程的坐标 ④重新编译B工程 ■详细步骤 ①自己A工程打Jar包 使用maven packag 阅读全文

摘要： 【场景】： 需要定期运行Hadoop的MapReduce 【解决办法】： 编写一个运行MapReduce的Shell脚本。然后使用crontab配置定时任务。 【Shell脚本】 #!/usr/bin/env bashsource /etc/profileecho "TimeLimitDrawn S 阅读全文

摘要： 2016/5/20： 经过上级指示，为了MR性能调优，需要截取MR的服务器的线程堆栈(Thread Dump) 战友介绍的方法是这样的： ①、使用ps命令【ps -ef | grep java】过滤出所有的Java进程（毕竟MapReduce是运行在JVM中的） ②、从Java进程中找到MR的运行进 阅读全文

摘要： 尝试了一个没有Reduce的MapReduce。 【应用场景】： 从Hbase的A表中进行数据抽样，直接输出到B表中。 这种场景下，相当于只进行了一个数据检索，本来是用Hive就可以实现，但是考虑到业务上的复杂性，使用了只有Map的一个Job。 相当于一个SQL文的Select语句的感觉。 【Job 阅读全文

摘要： 使用Load语句执行数据的导入 --将操作系统上的文件student01.txt数据导入到t2表中 load data local inpath '/root/data/student01.txt' into table t2; --将操作系统上/root/data文件夹下的所有文件导入t3表中，并 阅读全文

摘要： 由于项目需要从HBase里读取数据，进行MapReduce之后输出到HDFS中。 为了测试方便，我这里写了一个批量插入HBase数据的测试代码。采用的Maven工程。 打算，今后的所有用到的小测试例子都放到这个工程里面了。 代码放到GitHub上面了：https://github.com/quchu 阅读全文

摘要： 前提： 搭建好集群环境（zookeeper、hadoop、hbase）。 搭建方法这里就不进行介绍了，网上有很多博客在介绍这些。 简单需求： WordCount单词计数，号称Hadoop的HelloWorld。所以，我打算通过这个来初体验一下Hadoop。需求如下： ①、计算文件中出现每个单词的频数 阅读全文

摘要： 公司给分配了3台新的虚拟机，打算从头配置一下zookeeper，kafka，storm，hadoop，hbase的环境。 （以后配置mongodb，spark的时候，在陆续更新，目前（2016/4/21）只接触这么多） 配置的过程中发生了一些问题。这里共享一下笔记。当然，我做配置的时候的原则是： 只 阅读全文

摘要： 开始的时候同事只给了一个地址，类似这样：git@111.111.1.1:ABCDEF （1）如何在Windows上使用Git 有一篇博客不错：http://www.tuicool.com/articles/qEVnUr ①、下载msysgit：http://msysgit.github.io/ ②、 阅读全文

摘要： 为了解决这个问题，已经有砸电脑的冲动了。通过百度查找都说是Maven依赖的原因，经过各种尝试仍然没有解决，后来终于在QQ群的帮助下，算是暂时过关。 【问题】 程序在本地运行没有问题，打成jar包发布到storm上的时候，总是会出现jar包冲突的错误。到时Topology发布失败。 通过Maven的m 阅读全文