lambert's blog

摘要： 创建maven工程添加pom依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.7.RELEASE</vers 阅读全文

摘要： 查看xxx端口是否使用：lsof -i 9999 杀死进程：kill -9 PID 阅读全文

摘要： 在启动类上添加 @EnableFeignClients 注解 Feign client类的编写，以及接参方式，特别关注get的两种方式：url路径参数和发送对象实体。参考地址 /*** * @author Lambert * @date 2022-08-24 * @explain ***/ // u 阅读全文

摘要： File file = new File(xxx); response.setCharacterEncoding("utf-8"); response.addHeader("Content-Disposition", "attachment; filename*=UTF-8''" + URLEnco 阅读全文

摘要： 从集合（内存中创建出来）RDD val sparkConf = new sparkConf().setMaster("local[*]").setAppName("spark") // * 号代表，当前电脑有几个核心就分几个线程，不写就是用单线程，[]中括号内的数字代表线程数 val sparkCo 阅读全文

摘要： 三大数据结构： RDD：弹性分布式数据集 累加器：分布式共享只写变量 广播变量：分布式共享只读变量 阅读全文

摘要： spark 应用程序提交到 yarn 环境中，一般有两种部署执行的方式：Client 和 Cluster 两种模式主要区别：Driver 程序的运行节点位置 任务之间的依赖不可形成闭环即任务RDD不可以有闭环 阅读全文

摘要： idea 下使用 Scalc 实现 wordCount idea -> 进入 plugins 安装 Scala 插件需重新启动 idea 进入 project structure -> 下载 Scala SDK （速度很慢很慢，耐心等待，下载不全会导致后面编译运行程序出bug）如下图点击加号下载即可 阅读全文

摘要： docker spark单机集群的部署 下载官方镜像 bitnami/spark latest 运行该镜像 docker run -itd -p 8080:8080 -p 7077:7077 --name=spark --network=spark_network -e SPARK_MODE=mas 阅读全文

摘要： 点击链接跳转 阅读全文