06 2019 档案

kafka拦截器（示例）
摘要：拦截内容在内容前加时间戳import java.util.Map;import org.apache.kafka.clients.producer.ProducerInterc... 阅读全文
posted @ 2019-06-25 14:59 drl_blogs 阅读(566) 评论(0) 推荐(0)
kafka消费者（官方示例）
摘要：import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.cons... 阅读全文
posted @ 2019-06-25 11:55 drl_blogs 阅读(1862) 评论(0) 推荐(0)
kafka:创建生产者（有/无回调函数示例）
摘要：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.p... 阅读全文
posted @ 2019-06-25 11:31 drl_blogs 阅读(1563) 评论(0) 推荐(0)
统计IP地址对应的省份，并把结果存入到mysql(示例)
摘要：ip.txtaccess.logimport java.io.{BufferedReader, FileInputStream, InputStreamReader}impor... 阅读全文
posted @ 2019-06-25 10:21 drl_blogs 阅读(622) 评论(0) 推荐(0)
kafka_2.11-0.11.0.0 安装配置
摘要：1.上传kafka_2.11-0.11.0.0.tgz2.解压tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/3.修改serve... 阅读全文
posted @ 2019-06-24 10:32 drl_blogs 阅读(1221) 评论(0) 推荐(0)
在Idea控制台调整日志等级
摘要：1.导入包import org.apache.log4j._2.设置日志级别（DEBUG、INFO、WARN、ERROR）Logger.getLogger("org").set... 阅读全文
posted @ 2019-06-22 11:53 drl_blogs 阅读(7140) 评论(0) 推荐(0)
Spark Sql和Hive的继承
摘要：内置Hive需要将core-site.xml和hdfs-site.xml 拷贝到spark的conf目录下。如果Spark路径下发现metastore_db，需要删除【仅第一次... 阅读全文
posted @ 2019-06-20 19:44 drl_blogs 阅读(245) 评论(0) 推荐(0)
Spark SQL：自定义函数(示例)
摘要：文章目录UDF函数UDAF函数弱类型用户自定义聚合函数强类型用户自定义聚合函数UDF函数scala> val df=spark.read.json("people.json")... 阅读全文
posted @ 2019-06-20 17:12 drl_blogs 阅读(1407) 评论(0) 推荐(0)
Spark：【error】DataFrames转DataSet失败
摘要：Error:(45, 63) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) a... 阅读全文
posted @ 2019-06-20 17:01 drl_blogs 阅读(248) 评论(0) 推荐(0)
Spark ：【error】System memory 259522560 must be at least 471859200
摘要：java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memor... 阅读全文
posted @ 2019-06-20 15:36 drl_blogs 阅读(3334) 评论(0) 推荐(0)
idea:忽略大小写提示设置
摘要：1.打开settings界面2.找到code completion3.Math case去掉勾 阅读全文
posted @ 2019-06-20 11:20 drl_blogs 阅读(1762) 评论(0) 推荐(0)
Spark:常用JAR包集成（pom.xml）
摘要：1.8 1.8 2.11.8 2.2.2 2.7.3 8.0.11 ... 阅读全文
posted @ 2019-06-19 23:17 drl_blogs 阅读(1543) 评论(0) 推荐(0)
Spark SQL：RDD、DataFrames、DataSet之间的转换
摘要：文章目录RDD转DataFrames方式一：直接指定列名和数据类型方式二：通过反射转换方式三：通过编程设置Schema（StructType）RDD转DataSetDataFr... 阅读全文
posted @ 2019-06-19 16:55 drl_blogs 阅读(2059) 评论(0) 推荐(0)
Spark SQL：DataFrames/DataSet的简单使用
摘要：文章目录json文件中数据DataFrames创建DataFramesDSL风格printSchemaselectfiltergroupBySQL风格createOrRepla... 阅读全文
posted @ 2019-06-19 16:55 drl_blogs 阅读(1606) 评论(0) 推荐(0)
redis:编译时报错 /bin/sh: cc: command not found
摘要：[root@hadoop01 redis-3.0.0]# makecd src && make allmake[1]: Entering directory `/usr/loc... 阅读全文
posted @ 2019-06-19 16:55 drl_blogs 阅读(3352) 评论(0) 推荐(0)
Spark Core:RDD编程Transformation
摘要：Transformation操作目录map[U: ClassTag](f: T => U): RDD[U]filter(f: T => Boolean): RDD[T]flat... 阅读全文
posted @ 2019-06-19 16:54 drl_blogs 阅读(527) 评论(0) 推荐(0)
Spark Core:数据输入输出
摘要：文章目录文本文件输入输出读取文本文件保存文本文件JSON/CSV文件输入输出SequenceFile文件输入输出保存SequenceFile文件查看SequenceFile文件... 阅读全文
posted @ 2019-06-19 16:54 drl_blogs 阅读(361) 评论(0) 推荐(0)
Spark Core:RDD编程Action
摘要：Action目录reduce(f: (T, T) => T): Tcollect(): Array[T]count(): Longfirst(): Ttake(num: Int... 阅读全文
posted @ 2019-06-19 16:54 drl_blogs 阅读(156) 评论(0) 推荐(0)
Spark Core:创建RDD
摘要：#方式一：把数据并行化分片到节点sc.parallelize(Array(1,2,3,4))#方式二：把数据并行化分片到节点sc.makeRDD(Array(1,2,3))#方... 阅读全文
posted @ 2019-06-17 16:35 drl_blogs 阅读(170) 评论(0) 推荐(0)
分类文章
摘要：由于分栏中的分类中没有文章前台不显示，本文就是为了让其显示的分隔符 阅读全文
posted @ 2019-06-17 15:20 drl_blogs 阅读(148) 评论(0) 推荐(0)
redis:启动停止命令
摘要：启动：redis-server后台启动：redis-server &关闭：redis-cli shutdown 或者 kill redis进程的pid 阅读全文
posted @ 2019-06-17 15:13 drl_blogs 阅读(1036) 评论(0) 推荐(0)
Spark：【error】远程调试 root:supergroup:drwxr-xr-x
摘要：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xxxx, access=WRITE, inode="/test/out... 阅读全文
posted @ 2019-06-15 16:28 drl_blogs 阅读(350) 评论(0) 推荐(0)
Spark：蒙特卡罗求PI(求π)（示例）
摘要：spark-submit --master spark://hadoop01:7077 --class org.apache.spark.examples.SparkPi /usr/local/spark-2.2.2-bin-hadoop2.7/examples/jars/... 阅读全文
posted @ 2019-06-14 15:44 drl_blogs 阅读(566) 评论(0) 推荐(0)
Scala:上界、下界、协变、逆变
摘要：S : T这是类型下界的定义。也就是U必须是类型T的父类(或本身，自己也可以认为是自己的父类)。上界的例子 协变：Scala的类或特征的范型定义中，如果在类型参数前面加入+符号，就可以使类或特征变为协变了。示例： 逆变：在类或特征的定义中，在类型参数之前加上一个-符号，就可... 阅读全文
posted @ 2019-06-14 14:12 drl_blogs 阅读(525) 评论(0) 推荐(0)
spark-2.2.2-bin-hadoop2.7 HA 配置
摘要：安装spark-2.2.2-bin-hadoop2.7：https://blog.csdn.net/drl_blogs/article/details/919483941.编辑 主节点conf/spark-env.shexport JAVA_HOME=/usr/local/j... 阅读全文
posted @ 2019-06-14 11:08 drl_blogs 阅读(331) 评论(0) 推荐(0)
spark-2.2.2-bin-hadoop2.7 安装
摘要：1.上传spark-2.2.2-bin-hadoop2.7.tgz2.解压文件tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/3.进入conf/下把spark-env.sh.template改为spark-env.... 阅读全文
posted @ 2019-06-14 09:24 drl_blogs 阅读(1560) 评论(0) 推荐(0)
Scala:读取xml文件（示例）
摘要：test.xml内容如下 Convert number to string Examp1.EXE 1 One ... 阅读全文
posted @ 2019-06-13 15:11 drl_blogs 阅读(2040) 评论(0) 推荐(0)
Scala:读取MySQL中数据（示例）
摘要：1.导入mysql的jdbc mysql mysql-connector-java 5.1.472.示例如... 阅读全文
posted @ 2019-06-13 12:26 drl_blogs 阅读(2077) 评论(0) 推荐(0)
Scala:读取文件和网络数据（示例）
摘要：读取文件（一次读取一行）import scala.io.Sourceobject FileApp { def main(args: Array[String]): Unit ... 阅读全文
posted @ 2019-06-13 10:28 drl_blogs 阅读(729) 评论(0) 推荐(0)
hadoop简介
摘要：什么是HADOOP(1)HADOOP是apache旗下的一套开源软件平台(2)HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADO... 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(635) 评论(0) 推荐(0)
Scala:常用方法示例(map、flatten、flatMap、foreach、sorted)
摘要：目录mapflatten 压平flatMapforeachsortedmap一对一映射 也就是对原来的集合中的每一个元素，执行某一项操作（该操作取决于函数的内容）过滤 filter 过滤出满足条件的所有元素 filterNot 过滤出不满足条件的元素fla... 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(2557) 评论(0) 推荐(0)
Scala:Array/ArrayBuffer（简介/常用方法示例）
摘要：不可变数组：长度不可变，内容可变Array可变数组：长度数组都可变ArrayBuffer数组定义方法：取值赋值注意，数组取值和赋值与java不同，java使用[],scala使用的是（）可变数组首先需要导入包添加元素+=删除元素-=数组间的拼接++=删除一个数组--=在指定位... 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(5820) 评论(1) 推荐(0)
Scala:List/ListBuffer（简介/常用方法示例）
摘要：不可变 List：长度内容都不可变可变 ListBuffer：长度内容都可变 必须导入包创建不可变List1.传统方式2. :: Nil:: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 x::list,其中x为加入到头部的元素，无论x是列表与... 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(8663) 评论(0) 推荐(0)
Scala:交集、并集、差集（示例）
摘要：交集（intersect）并集（union）差集（diff） 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(403) 评论(0) 推荐(0)
Scala:Set（简介/常用方法示例）
摘要：Set不可变 List：长度内容都不可变可变 ListBuffer：长度内容都可变 必须导入包创建setset存储的元素都是唯一的，不重复的注：操作与List相似 阅读全文
posted @ 2019-06-13 10:08 drl_blogs 阅读(849) 评论(0) 推荐(0)
Scala:Map（简介/常用方法示例）
摘要：不可变的Map 长度，内容 都是不能改变的 默认的可变的Map 长度内容都是可变的 必须导包创建mapContains(Map中是否存在这个元素）获取元素获取元素不存在返回getOrElse 阅读全文
posted @ 2019-06-13 10:07 drl_blogs 阅读(888) 评论(0) 推荐(0)
Scala:拉链操作（一一对应）（示例）
摘要：当出现数组长度不相同时，一 一匹配，无则不匹配 阅读全文
posted @ 2019-06-13 10:07 drl_blogs 阅读(243) 评论(0) 推荐(0)
Scala:元组（简介/示例）
摘要：特点： 1.集合中的数据可以是不同的类型 2.最多只能放22个元素获取值： 通过角标获取，这里边的角标是从1开始的，元组名称._角标(区别数据）对偶元组（俩个元素）val tp =(“kegongchnag”,1) 阅读全文
posted @ 2019-06-13 10:07 drl_blogs 阅读(415) 评论(0) 推荐(0)
Scala:隐式转换简单示例
摘要：object ImplicitApp extends App { implicit def manToSuperMan(man: Man):SuperMan=new Supe... 阅读全文
posted @ 2019-06-13 10:06 drl_blogs 阅读(240) 评论(0) 推荐(0)
Scala中reduceLeft和reduceRight解析
摘要： 阅读全文
posted @ 2019-06-12 15:51 drl_blogs 阅读(416) 评论(0) 推荐(0)
Scala：字符串高级应用
摘要：字符串的输出 val name="zhangsan" println("Hello,my name is "+name)等价于 val name="zhangsan" //... 阅读全文
posted @ 2019-06-12 15:29 drl_blogs 阅读(285) 评论(0) 推荐(0)
windows下配置scala之坑：找不到或无法加载主类 scala.tools.nsc.MainGenericRunner
摘要：解压scala配置环境变量后在cmd运行scala出现： 找不到或无法加载主类 scala.tools.nsc.MainGenericRunner原因：scala的目录有空格解决方法：把安装内容移到一个新的目录重新配置环境就好了 阅读全文
posted @ 2019-06-11 09:02 drl_blogs 阅读(2098) 评论(0) 推荐(0)
scala-2.11.12安装
摘要：1.上传scala-2.11.12.tgz到服务器2.解压到/usr/local/下tar -zxvf scala-2.11.12.tgz -C /usr/local/3.配置环境变量vim /etc/profile环境变量中添加：export SCALA_HOME=/usr... 阅读全文
posted @ 2019-06-10 14:55 drl_blogs 阅读(1459) 评论(0) 推荐(0)
azkaban(版本2.5.0)安装
摘要：配置mysql的字符编码1. 登陆MySQLmysql -u root -p2. 查看字符编码show variables like 'character%';如果是utf8就忽略此操作！如若不是修改配置文件：vi /etc/my.cnf 在[mysqld]下面添加字符集编码... 阅读全文
posted @ 2019-06-07 22:40 drl_blogs 阅读(522) 评论(0) 推荐(0)
sqoop:【error】ERROR tool.ImportTool: Import failed: java.io.IOException: Filesystem closed
摘要：19/06/06 12:04:08 ERROR tool.ImportTool: Import failed: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.... 阅读全文
posted @ 2019-06-06 14:58 drl_blogs 阅读(2465) 评论(0) 推荐(0)
sqoop导入/导出
摘要：导入到HDFS全部导入sqoop import \--connect jdbc:mysql://hadoop01:3306/test1 \--username root \--password 1234 \--table students \--target-dir /use... 阅读全文
posted @ 2019-06-06 11:18 drl_blogs 阅读(245) 评论(0) 推荐(0)
sqoop-1.4.7安装
摘要：1. 上传安装包sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz到虚拟机中2.解压sqoop安装包到指定目录 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/3.重命名配置文件 ... 阅读全文
posted @ 2019-06-06 09:00 drl_blogs 阅读(596) 评论(0) 推荐(0)
sqoop：【error】从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job failed!
摘要：19/06/05 19:42:30 ERROR mapreduce.ExportJobBase: Export job failed!19/06/05 19:42:30 ERROR tool.ExportTool: Error during export:Export job... 阅读全文
posted @ 2019-06-05 19:50 drl_blogs 阅读(3977) 评论(0) 推荐(0)
sqoop：【error】mysql导出数据到hive报错HiveConfig:无法加载org.apache.hadoop.hive.conf.HiveConf。确保HIVE_CONF_DIR设置正确
摘要：19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.Hive... 阅读全文
posted @ 2019-06-05 10:26 drl_blogs 阅读(3489) 评论(0) 推荐(0)
hbase常用命令
摘要：1 角色 HMaster RegionServer Region：一张table Hbase为了读写高效 有二级缓存，内存的缓存和磁盘的缓存 HLog：既有存储的业务数据，又有对业务数据的操作2 HBase的特性 列... 阅读全文
posted @ 2019-06-04 16:49 drl_blogs 阅读(1166) 评论(0) 推荐(0)
hive安装
摘要：第一步：上传文件，并解压 tar -zxvf apche-hive_… -C /usr/local/第二部：cd 到hive目录下的conf 文件，修改配置vi hive-si... 阅读全文
posted @ 2019-06-04 16:19 drl_blogs 阅读(112) 评论(0) 推荐(0)
hbase-1.3.2安装
摘要：上传安装包hbase-1.3.2-bin.tar.gz解压安装包tar -zxvf /root/hbase-1.3.2-bin.tar.gz -C /usr/local/修改配... 阅读全文
posted @ 2019-06-03 17:07 drl_blogs 阅读(272) 评论(0) 推荐(0)