随笔分类 - Hadoop
摘要：SELECT *,xxhash64(CAST(shop_nm AS varbinary)) ,from_big_endian_64(xxhash64(CAST(shop_nm AS varbinary))) FROM db_ads.ads_merchandise_dim_shop
阅读全文
摘要：字符串转行 select str_days FROM ( SELECT array_join(sequence(date('2022-02-01'),date('2022-02-11')),',') str_date ) CROSS JOIN UNNEST(split(str_date,','))
阅读全文
摘要：hive ddl : https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-DropTable hive dml : https://cwiki.apache.org/conflue
阅读全文
摘要：clickhouse:https://clickhouse.com/docs/zh/sql-reference/functions/bitmap-functions/#bitmapcontains 需求分析： 框选常用城市为山西，且消费性别为男或者未知的人群 ； 问题： 发现返回的人群数为0 ，预期
阅读全文
摘要：1 SELECT 2 groupBitmapAnd(uv) 3 ,groupBitmapOr(uv) 4 ,bitmapToArray(groupBitmapAndState(uv)) 5 ,arraySort(bitmapToArray(groupBitmapAndState(uv))) 6 ,a
阅读全文
摘要：-- presto 语法 select max(element_at(split("$path",'/'),9)) AS part from table_name ; -- hive 语法 show PARTITION table_name hive 语法参考官网：https://cwiki.apa
阅读全文
摘要：IF(instr(substr(updated_at,1,10),'-')>0,date(substring(substr(updated_at,1,10),1,10)),date(from_unixtime(unix_timestamp(substring(substr(updated_at,1,
阅读全文
摘要：-- presto 1 SELECT var 2 ,IF(strpos(var,'-')>0,date(substring(var,1,10)),CAST(parse_datetime(CAST(substring(var,1,10) AS varchar), 'yyyyMMdd') AS date
阅读全文
摘要：结果：写法1错误，写法2&3正确 原因： ？ 分析： 1.写法1 ma left join t 因为执行顺序是先ON 在 where 的,所以ma并不是主表,ma表中的数据有丢失（ ma left join t 实际上只有ma.spu_id=t.spu_id 相等的部分）;
阅读全文
摘要：1 #!bin/bash 2 kettleConfigHome=/home/vmuser/linbo/kettleDemo/job/config 3 apiInfos=/home/vmuser/linbo/kettleDemo/job/data/apiInfo 4 api_csv_path_home
阅读全文
摘要：1 #!/bin/bash 2 # 删除5天前 prod & test 目录下接口生成的文件 ； 3 api_csv_path_home=/home/vmuser/linbo/test_upload/data_file 4 evnArr=(prod test) 5 apiInfo=(`ls -rt
阅读全文
摘要：1 #!bin/bash 2 kettleConfigHome=/home/vmuser/linbo/kettleDemo/job/config 3 apiInfos=/home/vmuser/linbo/kettleDemo/job/data/apiInfo 4 api_csv_path_home
阅读全文
摘要：-- mysql group_concat select a, group_concat(b separator ',') from table group by a ; -- presto select a, array_join(array_agg(b), ',') from table gro
阅读全文
摘要：#!/bin/bash apiName=bz_return_order api_csv_path_home=/home/vmuser/linbo/test_upload/data_file evnArr=(prod test) apiEvnAndDataArr=() declare -A prodF
阅读全文
摘要：#!/bin/bash names=(Jerry Alice David Wendy "Tom"isTeach) var=\"Tom\" echo "原始数组= ${names[*]}" # 查找value 是否存在array 当中[[ ${names[*] /$var/} != ${names[*
阅读全文
摘要：#!/bin/bash prod_file=/home/vmuser/linbo/kettleDemo/job/test/CA-20201224.csv test_file=/home/vmuser/linbo/kettleDemo/job/test/uat_CA-20201224.csv dtm=
阅读全文
浙公网安备 33010602011771号