梦醒江南·Infinite

2021年5月10日

摘要：考虑一个简单的json: {"openid":"a43dd9f","unionid":"cae4332f"} 在hive中如何提取出这个json的key呢？一个思路是利用正则表达式替换，将非key的部分去除并设置一个分割符，最后切分这个字符串就可以得到json的key，如有特殊需要还可利用explo 阅读全文

posted @ 2021-05-10 19:49 梦醒江南·Infinite 阅读(7491) 评论(1) 推荐(0)

JSON官方网站

摘要：没想到json还有官网，有意思 https://www.json.org/json-en.html 阅读全文

posted @ 2021-05-10 17:02 梦醒江南·Infinite 阅读(635) 评论(0) 推荐(0)

2021年4月27日

Hadoop官方文档链接

摘要： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 阅读全文

posted @ 2021-04-27 11:44 梦醒江南·Infinite 阅读(60) 评论(0) 推荐(0)

slick书籍

摘要： https://books.underscore.io/essential-slick/essential-slick-3.pdf 没事可随便翻阅翻阅。阅读全文

posted @ 2021-04-27 11:39 梦醒江南·Infinite 阅读(32) 评论(0) 推荐(0)

SQL与Slick的对比

摘要：来源：https://scala-slick.org/doc/3.2.3/sql-to-slick.html This section shows an overview over the most important types of SQL queries and a corresponding 阅读全文

posted @ 2021-04-27 11:34 梦醒江南·Infinite 阅读(197) 评论(0) 推荐(0)

slick增删改查

摘要：来源：slick官方文档 https://scala-slick.org/doc/3.2.3/ This chapter describes how to write type-safe queries for selecting, inserting, updating and deleting 阅读全文

posted @ 2021-04-27 11:30 梦醒江南·Infinite 阅读(110) 评论(0) 推荐(0)

2021年4月25日

Excel vlookup函数

摘要：（来源：https://baike.baidu.com/item/VLOOKUP%E5%87%BD%E6%95%B0/6859981#3）该函数的语法规则如下： VLOOKUP(lookup_value,table_array,col_index_num,range_lookup) 参数简单说明阅读全文

posted @ 2021-04-25 18:32 梦醒江南·Infinite 阅读(283) 评论(0) 推荐(0)

2021年4月23日

Hive 测试case when 语句

摘要： hive> set a = "2021-04-23 00:00:00"; hive> select case when ${hiveconf:a} is not null then ${hiveconf:a} end; 2021-04-23 关于${hiveconf:变量名}这个语法，可以参考htt 阅读全文

posted @ 2021-04-23 17:15 梦醒江南·Infinite 阅读(200) 评论(0) 推荐(0)

Scala编码风格指南

摘要：来源：https://docs.scala-lang.org/style/index.html Indentation Line Wrapping Methods with Numerous Arguments Naming Conventions Classes/Traits Objects Pa 阅读全文

posted @ 2021-04-23 12:00 梦醒江南·Infinite 阅读(73) 评论(0) 推荐(0)

2021年4月22日

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的一个解决办法

摘要：在hive命令中执行一条计算数据条数的sql，错误信息如下：查看报错信息，可以注意到没有任务进度信息，因此做如下推测：任务根本就没有提交到YARN，既然没有提交到YARN，那么问题就很有可能是出现在配置上，而且是yarn的MR相关配置。为此，修改以下yarn配置（仅供参考）： mapreduc 阅读全文

posted @ 2021-04-22 17:56 梦醒江南·Infinite 阅读(1158) 评论(0) 推荐(0)

会挽雕弓如满月

公告