摘要：
全局参数： 1. --master yarn-cluster (or yarn-client) 2. --num-executors 50 3.--executor-memory 6G 4.--conf spark.executor.cores=4 5.--conf spark.yarn.execu 阅读全文
摘要：
https://blog.csdn.net/qq_44762698/article/details/90667244 阅读全文
摘要：
package spark import java.text.SimpleDateFormat import java.util.{Calendar, Date} import org.apache.spark.SparkConf import org.apache.spark.sql._ object Execute { def main(args: Array[String]):... 阅读全文
摘要：
1.dataframe简介： sparksql中的dataframe等效于关系型数据表。对表的查询等操作，都可以使用dataframe的API接口实现 参考文档：http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.sp 阅读全文
摘要：
1.需求： 2,.数据准备 3.编码实现 4.结果展示 阅读全文
摘要：
1、从数据表t1中把那些id值在数据表t2里有匹配的记录全删除掉1 2、从数据表t1里在数据表t2里没有匹配的记录查找出来并删除掉1 3.从两个表中找出相同记录的数据并把两个表中的数据都删除掉1 注意此处的delete t1,t2 from 中的t1,t2不能是别名 阅读全文
摘要：
1.分层目的 数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到 层次清晰、依赖关系直观 2.分层的优点： 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算 统一 阅读全文
摘要：
package es import java.io.InputStream import java.text.SimpleDateFormat import java.util.{Calendar, Date, Properties} import org.elasticsearch.spark.rdd.EsSpark import org.apache.spark.SparkConf im... 阅读全文
摘要：
package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticException;... 阅读全文
摘要：
package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveExcep... 阅读全文