iBit

导航

用python搭建数据分析体系

思路:从Hive中清洗假工业务数据,通过使用Sqoop工具同步数据到MySQL中,再通过Python调用MySQL中的数据进行分析

工具:pycharm,pandas,numpy,MySQLdb,E-mail

  1. 梳理业务逻辑,在集群环境中编写Hive脚本,在加工到MySQL中
  2. 利用python关联数据库
    import select_data

     

  3. 数据将存储在alldata中,直接调用
    def select_data():
        try:
            conn=MySQLdb.conncet(host='',user='',passwd='',db='',charset='utf8')
        except Exceotion,e:
            print e
            sys.exit()
            

     

posted on 2019-09-28 10:27  iBit  阅读(231)  评论(0)    收藏  举报