沙漠里的小鱼

2014年4月2日

摘要： package com.asp;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase... 阅读全文

posted @ 2014-04-02 09:01 沙漠里的小鱼阅读(1079) 评论(0) 推荐(0)

2014年3月10日

mapreduce往hbase插入数据(有map有reduce)

摘要： package com.asp;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase... 阅读全文

posted @ 2014-03-10 16:59 沙漠里的小鱼阅读(599) 评论(0) 推荐(0)

python读取文件数据导入到hbase

摘要： from thrift import Thriftfrom thrift.transport import TSocketfrom thrift.transport import TTransportfrom thrift.protocol import TBinaryProtocolfrom hbase import Hbasefrom hbase.ttypes import *import reimport sys import timecurrent_row=0 transport = TSocket.TSocket('192.168.106.36', 9090)tran 阅读全文

posted @ 2014-03-10 14:45 沙漠里的小鱼阅读(2280) 评论(0) 推荐(0)

2014年3月5日

用java读取一个文件往hbase里插入数据(List<PUT>)

摘要： package com.asp;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOExce... 阅读全文

posted @ 2014-03-05 16:44 沙漠里的小鱼阅读(2393) 评论(0) 推荐(0)

2014年1月15日

python从oracle读取数据写入到文件里

摘要： #coding:utf-8#!/usr/bin/pythonimport cx_Oracleimport sysimport os m=sys.argv[1]sql="select a.mobile,b.city_name from (select mobile,city_id from dw_cmmb_user_"+m+" where show_flag=1 group by mobile,city_id) a, (select * from dim_areacode where province_id=551) b where a.city_id=b.city 阅读全文

posted @ 2014-01-15 11:39 沙漠里的小鱼阅读(1506) 评论(0) 推荐(0)

LINUX中杀进程

摘要： hadoop 19252 19251 0 05:00 ? 00:00:00 /bin/sh -c (sh /home/hadoop/src/renow_hive_second.sh >> /home/hadoop/src/log/renow_hive_second.log )hadoop 19253 19252 0 05:00 ? 00:00:01 sh /home/hadoop/src/renow_hive_second.shhadoop 20510 19253 0 05:09 ? 00:00:58 /apps/usr/java/jdk1.6/bin/java -Dproc_ja 阅读全文

posted @ 2014-01-15 11:05 沙漠里的小鱼阅读(206) 评论(0) 推荐(0)

2014年1月13日

python 脚本发送邮件

摘要： #!/usr/bin/env python #coding: utf-8 import smtplib from email.mime.multipart import MIMEMultipart from email.mime.text import MIMEText #import stmp_mail sender = 'hadoop520@126.com' receiver ='hello@126.com'subject = '数据测试' smtpserver = 'smtp.126.com' username = ' 阅读全文

posted @ 2014-01-13 15:56 沙漠里的小鱼阅读(150) 评论(0) 推荐(0)

2013年12月4日

第二个脚本

摘要： import ref = open("beijing1.txt", "r")t = open("beijing2.txt", "w") while True: line = f.readline() if line: if 'np' in line and 'offline' in line : m=re.split("[|]",line) r1=r".*\?IMSI=(\d+)&MOBILE=&VERSION=(.*)&CHAN 阅读全文

posted @ 2013-12-04 16:04 沙漠里的小鱼阅读(109) 评论(0) 推荐(0)

一个python 脚本

摘要： import ref = open("1205.txt", "r") m = open("1206.txt","w") while True: line = f.readline() if line: x=re.split("[|]",line) r1=r"\w+_(renow.+Alpha).*\?IMSI=(\d+)&MOBILE=&OLD_VERSION=(.*)&CHANNELID=(.*)" s=re.search(r1,x[2]) if s 阅读全文

posted @ 2013-12-04 15:27 沙漠里的小鱼阅读(182) 评论(0) 推荐(0)

python里find函数的用法

摘要： str = "0123456"if str.find("8")!=-1 or str.find("3")!=-1: print "YES!"else: print "NO!"会输出"YES!" 阅读全文

posted @ 2013-12-04 10:31 沙漠里的小鱼阅读(1209) 评论(0) 推荐(0)

公告