随笔分类 -  大数据平台

完全离线环境下安装Docker，Docker-compose，Airflow
摘要：准备工作 下载docker：https://download.docker.com/linux/static/stable/x86_64 我下载的是docker-20.10.6.tgz 下载docker-compose：https://github.com/docker/compose/releas 阅读全文
posted @ 2022-03-11 14:36 harrylyx 阅读(807) 评论(0) 推荐(0)
presto和hive日期函数对比
摘要：时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据：2020-07-23 15:01:13 Presto：select to_unixtime(cast('2020-07-23 15:01:13' as timestamp)) Hive：select unix_timestamp( 阅读全文
posted @ 2020-07-24 14:33 harrylyx 阅读(4891) 评论(0) 推荐(0)
Hive解析多重嵌套JSON数组
摘要：最近在工作中遇到一个很难解析的JSON，他是一个嵌套的JSON数组的JSON，要使用Hive来进行解析，用Presto写了一次，逻辑就很清晰，因为Presto自带了JSON数据类型，转换数组就很方便，而Hive解析完JSON数组后是一个字符串，只能使用split方法来对string类型的数据进行切分 阅读全文
posted @ 2020-05-29 11:03 harrylyx 阅读(8368) 评论(0) 推荐(3)
使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业
摘要：搭建完Hadoop，想学一下MapReduce，又想使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业，，所以就折腾了一下，本文以WordCount为例，中途遇到很多问题，如权限问题、配置问题等等，在文章都有一一解决的办法，如果有什么问题，可以再评论区提出来，一起讨论。 阅读全文
posted @ 2020-05-14 15:07 harrylyx 阅读(1320) 评论(0) 推荐(1)
新装maven建的第一个项目报错，下载失败
摘要：新装maven建的第一个项目报错，下载失败，错误大概如下，就是无法下载jar包 [ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolve.. 阅读全文
posted @ 2020-05-13 15:09 harrylyx 阅读(431) 评论(2) 推荐(0)
关于Hive中case when不准使用子查询的解决方法
摘要：在公司用Hive实现个规则的时候，遇到了要查询某个字段是否在另一张表中，大概情况就是 A表: | id | value1 | value2 | | | : | | | 1 | 100 | 0 | | 2 | 101 | 1 | | 3 | 102 | 1 | B表: | value1 | | | | 阅读全文
posted @ 2020-01-27 17:41 harrylyx 阅读(4508) 评论(0) 推荐(0)
CDH大数据平台搭建终极版
摘要：经过无数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下几点： 1. 不熟悉安装过程，官方给出的安装方法有三种，所以都尝试了一遍，浪费了大量时间，所以有时候方法多不见得是一件好事。 2. 安装设备太差，有时会因为占用内存或者CPU占用过高而死机。 3. 安装网络环境太差，导致传 阅读全文
posted @ 2020-01-27 16:28 harrylyx 阅读(5045) 评论(2) 推荐(0)