随笔分类 -  HIVE&SQL

通过百度aip获取商场定位（pyodps）
摘要：获取ak和sk sn计算方式 sn计算方式 获取经纬度 python版本：2.7 # -*- coding: utf-8 -*- import urllib import hashlib import requests import json import math import datetime 阅读全文
posted @ 2023-02-22 16:27 dch_21 阅读(47) 评论(0) 推荐(0)
sql实现24小时归因
摘要：with popup as ( -- 弹窗点击 select distinct_id , sc_user_id , time click_at , test_flag , plan_id , bucket_desc , exper_id , page_type , sc_city , ds from 阅读全文
posted @ 2023-02-18 18:19 dch_21 阅读(96) 评论(0) 推荐(0)
巧用lead和lag进行数据清洗
摘要： 阅读全文
posted @ 2022-12-04 15:49 dch_21 阅读(27) 评论(0) 推荐(0)
Semantic analysis exception - expect equality expression (i.e., only use '=' and 'AND') for join condition without mapjoin hint
摘要：原链接 问题描述 Dataphin的SQL任务中使用left join时报错：“ODPS-0130071:[4,4] Semantic analysis exception - expect equality expression (i.e., only use '=' and 'AND') for 阅读全文
posted @ 2022-04-01 14:29 dch_21 阅读(3304) 评论(0) 推荐(0)
hive修改字段类型
摘要：maxcompute开启全表扫描 set odps.sql.allow.fullscan=false/true 阅读全文
posted @ 2022-02-10 13:39 dch_21 阅读(761) 评论(0) 推荐(0)
常用sql
摘要：正则 数组转字符串 concat_ws 替换html元素 REGEXP_REPLACE(ticket_content,'<([^>]*)>|(&nbsp;)|(&nbsp)','') 字符串去重 concat_ws(',',array_distinct(split(replace(replace(s 阅读全文
posted @ 2022-02-10 13:38 dch_21 阅读(133) 评论(0) 推荐(0)
show二级分区
摘要：当show二级分区的时候会展示全路径 show partitions dmr_dev.dmr_dip_channel_quantity partition(ds = '20220105'); 阅读全文
posted @ 2022-01-06 10:09 dch_21 阅读(67) 评论(0) 推荐(0)
Hive元数据信息对应MySQL数据库表
摘要：https://blog.csdn.net/u011250186/article/details/107691066?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECT 阅读全文
posted @ 2021-12-07 20:02 dch_21 阅读(54) 评论(0) 推荐(0)
Distinc window functions are not supported
摘要：现象 spark 不支持count(distinct)开窗 解决方案 size（） + collect_size() over() 阅读全文
posted @ 2021-10-18 23:06 dch_21 阅读(740) 评论(0) 推荐(0)