02 2022 档案

摘要：什么是架构？看完博客我有了大概的了解：根据问题制定目标，依据不同角色对目标进行拆分，拆分成各个部分，切分的原则，要便于不同的角色，对切分出来的部分，并行或串行开展工作，一般并行才能减少时间，同时将各个部分进行有机的联立，对这些切分出来的部分，设立沟通机制，向着完成目标进行。 为什么要出现架构?博客做 阅读全文

摘要：sparksql操作连接mysql 读取mysql数据库 val session = SparkSession.builder().master("local[3]").appName("wc").getOrCreate() val data = session.read.format("jdbc" 阅读全文

摘要：今天继续学习sparksql，他们在idea中操作spark，我就去找资料学习怎么配置spark项目。这个教程网上有 最重要的一点是添加怎么样的依赖 ，这是我最后配置好的依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId 阅读全文

摘要：sparksql 2.0 及以上api Spark-SQL 2 API: 程序入口: val session = SparkSession.builder().master("local[3]").appName("demo").getOrCreate() 读取文件: val data: Datas 阅读全文

摘要：sparksql 今天开始学习sparksql，我害怕它是基于hive的如果要用到我的hive的话 我觉得难度不小，由于我是笔记本我的IP地址是一直在变化的，我害怕连接不上hive Dataframe就是带有schema的RDD Dataframe和DataSet的区别: Dataframe是Dat 阅读全文