摘要：
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 阅读全文
posted @ 2020-12-11 20:08
Spirited-away
阅读(111)
评论(0)
推荐(0)
摘要：
一、本地代码编译 mvn clean install -DskipTests 二、构建spark提交脚本 样例如下：ip_spark.bat @echo offset param=%1set PROJECT_DIR="D:\gitlab\CP_WiseCloudLocationService_Wis 阅读全文
posted @ 2020-12-11 18:51
Spirited-away
阅读(539)
评论(0)
推荐(0)
摘要：
一：数据库创建 创建命令： hive> CREATE DATABASE IF NOT EXISTS higeo; 二：表创建 样例如下： # @DESC hive内表, 创建IP库分段详细内容表 hive> # @DESC hive内表, 创建IP省份城市映射表CREATE TABLE IF NOT 阅读全文
posted @ 2020-12-11 17:29
Spirited-away
阅读(321)
评论(0)
推荐(0)
摘要：
Hadoop搭建 安装配置 参考：https://www.jianshu.com/p/faf038923093 开源镜像仓库下载： http://mirrors.tools.huawei.com/apache/hadoop/common/ 目前实际使用的版本：hadoop-2.9.2，下面配置是2. 阅读全文
posted @ 2020-12-11 16:07
Spirited-away
阅读(455)
评论(0)
推荐(0)
摘要：
第一步 进入MySQL官网下载，或直接点击下载，MySQL社区服务器8.0.22系列，如下图所示： 第二步 进入下载完成后解压到除c盘以外的盘，如下图所示： 第三步 解压后的目录并没有的my.ini文件，没关系可以自行创建在安装根目录下添加的my.ini（新建文本文件，将文件类型改为的.ini） ， 阅读全文
posted @ 2020-12-11 11:28
Spirited-away
阅读(164)
评论(0)
推荐(0)
浙公网安备 33010602011771号