摘要：
全局参数： 1. --master yarn-cluster (or yarn-client) 2. --num-executors 50 3.--executor-memory 6G 4.--conf spark.executor.cores=4 5.--conf spark.yarn.execu 阅读全文
posted @ 2019-06-06 16:22
问题不大1
阅读(7655)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/qq_44762698/article/details/90667244 阅读全文
posted @ 2019-05-31 15:29
问题不大1
阅读(144)
评论(0)
推荐(0)
摘要：
package spark import java.text.SimpleDateFormat import java.util.{Calendar, Date} import org.apache.spark.SparkConf import org.apache.spark.sql._ object Execute { def main(args: Array[String]):... 阅读全文
posted @ 2019-05-23 11:04
问题不大1
阅读(150)
评论(0)
推荐(0)
摘要：
1.dataframe简介： sparksql中的dataframe等效于关系型数据表。对表的查询等操作，都可以使用dataframe的API接口实现 参考文档：http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.sp 阅读全文
posted @ 2019-05-21 14:49
问题不大1
阅读(406)
评论(0)
推荐(0)
摘要：
1.需求： 2,.数据准备 3.编码实现 4.结果展示 阅读全文
posted @ 2019-05-18 09:31
问题不大1
阅读(246)
评论(0)
推荐(0)
摘要：
1、从数据表t1中把那些id值在数据表t2里有匹配的记录全删除掉1 2、从数据表t1里在数据表t2里没有匹配的记录查找出来并删除掉1 3.从两个表中找出相同记录的数据并把两个表中的数据都删除掉1 注意此处的delete t1,t2 from 中的t1,t2不能是别名 阅读全文
posted @ 2019-05-17 14:46
问题不大1
阅读(530)
评论(0)
推荐(0)
摘要：
1.分层目的 数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到 层次清晰、依赖关系直观 2.分层的优点： 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算 统一 阅读全文
posted @ 2019-05-17 11:12
问题不大1
阅读(4444)
评论(0)
推荐(0)
摘要：
package es import java.io.InputStream import java.text.SimpleDateFormat import java.util.{Calendar, Date, Properties} import org.elasticsearch.spark.rdd.EsSpark import org.apache.spark.SparkConf im... 阅读全文
posted @ 2019-05-17 10:09
问题不大1
阅读(262)
评论(0)
推荐(0)
摘要：
package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticException;... 阅读全文
posted @ 2019-05-17 09:54
问题不大1
阅读(176)
评论(0)
推荐(0)
摘要：
package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveExcep... 阅读全文
posted @ 2019-05-17 09:53
问题不大1
阅读(128)
评论(0)
推荐(0)
浙公网安备 33010602011771号