event-01-hive_sql查出数据到dataframe不能保存Array类型数据

问题:hive的Array类型数据在dataframe中以字符串形式存储


sql = """select array(1,2) a""" df_mon_april = pd.read_sql(sql, hive_engine) a = df_mon_april['a'][0] print type(a) # <type 'unicode'>

  

思路:


sql = """select map("A",[1,2,3]) a""" df_mon_april = pd.read_sql(sql, hive_engine) a = df_mon_april['a'][0] j = json.loads(a) print type(j['A']) # <type 'list'>

  

hive的Array数据类型找不到直接以list的形式存储在dataframe的方法,暂时通过map来实现。


posted on 2019-06-21 02:02  三金啊  阅读(311)  评论(0)    收藏  举报

导航