用python搭建数据分析体系
思路:从Hive中清洗假工业务数据,通过使用Sqoop工具同步数据到MySQL中,再通过Python调用MySQL中的数据进行分析
工具:pycharm,pandas,numpy,MySQLdb,E-mail
- 梳理业务逻辑,在集群环境中编写Hive脚本,在加工到MySQL中
- 利用python关联数据库
import select_data - 数据将存储在alldata中,直接调用
def select_data(): try: conn=MySQLdb.conncet(host='',user='',passwd='',db='',charset='utf8') except Exceotion,e: print e sys.exit()
浙公网安备 33010602011771号