258-333

摘要： public class SparkSQL08_Source_Hive { public static void main(String[] args) { // TODO 在编码前，设定Hadoop的访问用户 System.setProperty("HADOOP_USER_NAME","hadoo 阅读全文

摘要： 对 hive 本地mysql 远程 mysql 的读取 public class SparkSQL07_Source_MySQL { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能，环 阅读全文

摘要： 项目概述 项目名称：共享益 项目目标：通过建立一个共享平台，让用户可以共享资源（如物品、服务等），以提高资源利用效率，降低成本，促进社区互助和可持续发展。 Alpha阶段总结 2.1 目标和计划 初始目标：建立基本平台框架，实现用户注册、登录和资源发布功能。 计划内容：完成平台的基础架构设计，开发用 阅读全文

摘要： sparksql对 json 和 csv文件的读取 public class SparkSQL05_Source_JSON_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能，环境 阅读全文

摘要： 个人总结：大二学习与项目回顾 在大二这一年，我主要完成了SpringBoot和Vue项目，跟随课程完成了大事件后台管理系统的开发，并再次之后完成了一项个人的项目 共享益 。 学习了安卓开发内容，最开始的时候 用的是 java开发的安卓项目，再后来学习了 kotlin jetpack compose， 阅读全文

摘要： sparkSql 读取json 文件 以及实体类的序列化 public class SparkSQL02_Model_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能，环境进行了 阅读全文

摘要： sparkSql 配置 public class SparkSQL01_Env { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能，环境进行了封装 //new JavaSparkCon 阅读全文

摘要： <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd"> < 阅读全文

摘要： 18万条数据 public class HotCategoryTop10_3 { public static void main(String[] args) { // TODO 搭建Spark的运行环境 SparkConf conf = new SparkConf(); conf.setAppNa 阅读全文

摘要： 更换了hadoop中的jdk的版本从1.8->17 rdd 行动算子 和 转换算子 序列化 // TODO // Spark在编写代码时，调用转换算子，并不会真正执行，因为只是在Driver端组合功能 // 所以当前的代码其实就是在Driver端执行 // 所以当前main方法也称之为driver方 阅读全文