随笔分类 -  Spark

摘要：import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api 阅读全文

摘要：package com.kpwong.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org. 阅读全文

摘要：1:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/ 下载Hadoop安装包到本地并解压 2: https://github.com/srccodes/hadoop-common-2.2.0-bin 下载这包. 3: 将步骤2下载的bi 阅读全文

摘要：NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具，能被其它的程序程序或脚本直接地或容易地驱动。同时，它又是一个功能丰富的网络调试和开发工具，因为它可以建立你可能用到的几乎任何类型的连 阅读全文

摘要：1：修改spark-defaults.conf文件。添加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop102:9000/sparklog spark.eventLog.compress truespark.yarn. 阅读全文