ggbond1988 - 博客园

jmeter 开发自己的java请求二次开发

摘要： jmeter java 阅读全文

posted @ 2015-12-27 22:34 ggbond1988 阅读(1537) 评论(0) 推荐(0)

hive 面试题

摘要：使用 Hive或者自定义 MR 实现如下逻辑 product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 2255... 阅读全文

posted @ 2015-12-10 23:27 ggbond1988 阅读(914) 评论(0) 推荐(0)

美丽说-爬虫记录

摘要：先爬取类别中的上衣、裙子、裤子三类的所有数据，然后对三类数据进行按照销量与喜欢的数量进行降序排序然后对排在前十的宝贝店铺进行爬取阅读全文

posted @ 2015-10-24 18:28 ggbond1988 阅读(223) 评论(0) 推荐(0)

python中re.sub的使用 --解读一段代码

摘要： json='{ title: "条纹针织衫+蓬蓬裙套装", picSrc: "http://d05.res.meilishuo.net/pic/_o/15/f5/f2e233bba04513eb355f2995a3a9_640_900.cf.jpg_00fd9b08_s7_450_680.jpg",... 阅读全文

posted @ 2015-10-20 16:43 ggbond1988 阅读(923) 评论(0) 推荐(0)

python 抓取美丽说店铺的宝贝图片及详细信息的实现（爬虫）

摘要： python 爬取美丽说的宝贝图片及详情阅读全文

posted @ 2015-10-18 22:18 ggbond1988 阅读(549) 评论(0) 推荐(0)

hadoop编码问题，mapreduce中Tex与string的转化乱码问题

摘要：引用：http://blog.csdn.net/zklth/article/details/11829563Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它类型（如GBK)，则会出现乱码。此时只需在mapper或reducer... 阅读全文

posted @ 2015-09-29 18:17 ggbond1988 阅读(3642) 评论(0) 推荐(0)

用mapreduce实现从hbase导出到hdfs，实现一个工具类，能够支持任意表任意列任意路径导出，并且支持表头

摘要：分析：1、由于是任意列任意表任意路径，我们很容易想到是参数传入，参数传入后怎么去获得参数，根据我们以往的经验就是通过args[]来获取，但是在mapper或者是reducer中，我们不能直接将参数传入，因为map 和reduce是通过反射机制来创建的，对于传入的参数我们不能直接使用；我们发现在m... 阅读全文

posted @ 2015-09-25 14:32 ggbond1988 阅读(509) 评论(0) 推荐(0)

bash 实现菜单

摘要： #!/bin/basha=`ls /data1/chenggang5/kepler/cases`cat <<EOF`j=0;for i in $a;do let j=$j+1;if [ $((j%5)) -ne 0 ];then print=\`printf "%-21s\t" $i\`;echo ... 阅读全文

posted @ 2015-09-24 13:35 ggbond1988 阅读(443) 评论(0) 推荐(0)

shell中利用ftp 上传文件夹功能

摘要：我们知道ftp 只能用来上传或者下载文件，一次单个或者多个，怎么实现将文件夹的上传和下载呢？可以利用先在remote ip上建立一个相同的文件夹目录，然后将文件放到各自的目录中去1、循环遍历出要上传的文件夹中的文件夹目录2、遍历出每个文件夹下的文件3、逐一上传文件ftp 命令图中有众多的交互，我... 阅读全文

posted @ 2015-09-17 12:51 ggbond1988 阅读(5524) 评论(1) 推荐(0)

shell 统计词频脚本

摘要： #!/bin/bashif [ $# -ne 1 ];then echo "Usage:$0 filename"; exit -1fifilename=$1egrep -o "\b[[:alpha:]]+\b" $filename | awk '{count[$0]+... 阅读全文

posted @ 2015-09-16 10:45 ggbond1988 阅读(931) 评论(0) 推荐(0)