摘要：
背景：要读取hdfs上指定路径分区下的所有文件内容（5个文件），并对数据内容进行处理整合成单个文件 正确遍历读取hdfs中指定路径下的数据文件样例代码如下： private List<RIRInfo> getIanaDataFromHdfs(String ianaDataHdfsPath) { Li 阅读全文
posted @ 2020-12-16 15:09
Spirited-away
阅读(314)
评论(0)
推荐(0)
摘要：
1、编译器说 Lambda 表达式中的变量必须是 final 的，我偏不信 问题描述：variable used in lambda expression should be final or effectively final 转：https://zhuanlan.zhihu.com/p/1083 阅读全文
posted @ 2020-12-14 11:42
Spirited-away
阅读(91)
评论(0)
推荐(0)
摘要：
背景：最近做的一个项目需求需要把生产环境服务器上指定目录下数据推送到hdfs上，然后通过hive去查询，但在安装hive之前需要先安装mysql，原因是啥呢？先了解下他们之间的关系。 一、什么是Hive Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL（数据仓库技 阅读全文
posted @ 2020-12-12 14:40
Spirited-away
阅读(348)
评论(0)
推荐(0)
摘要：
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 阅读全文
posted @ 2020-12-11 20:08
Spirited-away
阅读(111)
评论(0)
推荐(0)
摘要：
一、本地代码编译 mvn clean install -DskipTests 二、构建spark提交脚本 样例如下：ip_spark.bat @echo offset param=%1set PROJECT_DIR="D:\gitlab\CP_WiseCloudLocationService_Wis 阅读全文
posted @ 2020-12-11 18:51
Spirited-away
阅读(539)
评论(0)
推荐(0)
摘要：
一：数据库创建 创建命令： hive> CREATE DATABASE IF NOT EXISTS higeo; 二：表创建 样例如下： # @DESC hive内表, 创建IP库分段详细内容表 hive> # @DESC hive内表, 创建IP省份城市映射表CREATE TABLE IF NOT 阅读全文
posted @ 2020-12-11 17:29
Spirited-away
阅读(321)
评论(0)
推荐(0)
摘要：
Hadoop搭建 安装配置 参考：https://www.jianshu.com/p/faf038923093 开源镜像仓库下载： http://mirrors.tools.huawei.com/apache/hadoop/common/ 目前实际使用的版本：hadoop-2.9.2，下面配置是2. 阅读全文
posted @ 2020-12-11 16:07
Spirited-away
阅读(455)
评论(0)
推荐(0)
摘要：
第一步 进入MySQL官网下载，或直接点击下载，MySQL社区服务器8.0.22系列，如下图所示： 第二步 进入下载完成后解压到除c盘以外的盘，如下图所示： 第三步 解压后的目录并没有的my.ini文件，没关系可以自行创建在安装根目录下添加的my.ini（新建文本文件，将文件类型改为的.ini） ， 阅读全文
posted @ 2020-12-11 11:28
Spirited-away
阅读(164)
评论(0)
推荐(0)
浙公网安备 33010602011771号