随笔分类 - 大数据
摘要：Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12 1. idea 增加 Scala 插件 2. 添加依赖
阅读全文
摘要：#! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " 启动 $i Kafka " ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -
阅读全文
posted @ 2023-10-26 22:04
冰底熊
摘要：pyspark学习官网：https://spark.apache.org/docs/latest/api/python/index.html 一.环境搭建 参考官网：https://spark.apache.org/docs/latest/api/python/user_guide/python_p
阅读全文
摘要：1. 安装jdk和hadoop,解压jdk 和hadoop 包 2. 添加环境变量 vim /etc/profile.d/my_env.sh 3. source /etc/profile hadoop 完全分布式搭建 xsync 集群分发脚本,期望脚本在任何路径都能使用 echo $PATH 所以可
阅读全文
posted @ 2022-01-15 22:52
冰底熊
摘要：1.包对象 创建包对象 package com.deng /* * 包对象 * 包对象名称必须和当前的包名一致 * 申明用：package object * * */ package object test { // 定义当前包共享的属性和方法 val commonValue="公共值" } 包对象
阅读全文
posted @ 2022-01-05 08:33
冰底熊
摘要：两个map key值相同时，相加操作 import scala.collection.mutable class Moshipipei { def main(args: Array[String]): Unit = { val map1 = Map("a" -> 1, "b" -> 3, "c" -
阅读全文
posted @ 2022-01-03 12:36
冰底熊
摘要：1.伴生对象 package com.deng.scala object Test1 { def main(args: Array[String]): Unit = { val s1 = Student.newObj("ling",23) val s2 = Student("ling",23) pr
阅读全文
posted @ 2021-12-28 08:29
冰底熊
摘要：1.创建maven项目 2.编写mr 程序 1.添加maven 依赖和插件 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version
阅读全文
posted @ 2021-10-14 23:42
冰底熊
摘要：from pyspark import SparkConf,SparkContext from pyspark.sql import SparkSession import json def make_data(line): data = json.loads(line) h = data.get(
阅读全文
posted @ 2021-09-17 07:30
冰底熊
摘要：#!/bin/bash num_executors=100 executor_memory=4g executor_cores=20 principal=BotSpider queue=DB_QUEUE keytab=/opt/keys/user.keytab python_path="hdfs:/
阅读全文
posted @ 2021-09-16 22:21
冰底熊
摘要：小鹏汽车充电有两种类型，快充、慢充，有如下数据：车辆ID 充电时间 充电类型 a 20200601 19:21:09 1a 20200611 11:30:09 1a 20200621 21:10:09 0a 20200701 19:01:09 1a 20200701 20:30:09 1a 2020
阅读全文
摘要：题目： 1.原始数据： 1,3.50 2,3.65 3,4.00 4,3.85 5,4.00 6,3.65 2.创建表，导入数据 create table sc(id string,score float) row format delimited fields terminated by ',';
阅读全文
posted @ 2021-09-01 23:38
冰底熊
摘要：一.原始数据 u_001,2020/1/1,10 u_001,2020/1/2,150 u_001,2020/1/2,110 u_001,2020/1/2,10 u_001,2020/1/4,50 u_001,2020/1/4,10 u_001,2020/1/6,45 u_001,2020/1/6,
阅读全文
posted @ 2021-08-31 00:53
冰底熊
摘要：1.启动mysql 2. 启动meatstore 3.启动hiveserver2 启停脚本如下： my_hive.sh #!/bin/bash ## 启动mysql服务 systemctl start mariadb function start(){ ps -ef|grep $1|grep -v
阅读全文
posted @ 2021-08-29 23:47
冰底熊
摘要：官网：https://github.com/alibaba/DataX 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 安装 1. 下载安装包： wget http://datax-opensource.o
阅读全文
浙公网安备 33010602011771号