05 2020 档案

摘要:最近在工作中遇到一个很难解析的JSON,他是一个嵌套的JSON数组的JSON,要使用Hive来进行解析,用Presto写了一次,逻辑就很清晰,因为Presto自带了JSON数据类型,转换数组就很方便,而Hive解析完JSON数组后是一个字符串,只能使用split方法来对string类型的数据进行切分 阅读全文
posted @ 2020-05-29 11:03 harrylyx 阅读(8339) 评论(0) 推荐(3)
摘要:搭建完Hadoop,想学一下MapReduce,又想使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业,,所以就折腾了一下,本文以WordCount为例,中途遇到很多问题,如权限问题、配置问题等等,在文章都有一一解决的办法,如果有什么问题,可以再评论区提出来,一起讨论。 阅读全文
posted @ 2020-05-14 15:07 harrylyx 阅读(1302) 评论(0) 推荐(1)
摘要:新装maven建的第一个项目报错,下载失败,错误大概如下,就是无法下载jar包 [ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolve.. 阅读全文
posted @ 2020-05-13 15:09 harrylyx 阅读(427) 评论(2) 推荐(0)