08 2018 档案
摘要：项目结构： log4j.properties 内容： maven 依赖： 代码样例： 结果输出： 为什么输出只有三个？ log中的日志级别如下 debug < info < warn < error,默认只显示大于等于所设置级别的日志，我们在log4j.properties 中所设置的级别为 inf
阅读全文
摘要：一.模式匹配 运行结果如下： 小结： 1.scala 中的模式匹配类似java中的switch case，case _ 类似java中的 case:default ,scala一条匹配语句之后不用加 break； 2.字面量常量匹配会按照字面量的值进行匹配 3.变量常量(变量名为大写字母)同字面量常
阅读全文
摘要：一.case class 的特征 运行结果如下： 总结： 1.case class 默认实现了apply 方法，所以可以用val mes = Message("jason", "wus", "starbuck") 方法来创建对象 2.case class 重写了toString方法， 3.case
阅读全文
摘要：一.为类提供可以堆叠的改变 输出结果 1.创建Saving 实例时所混入的特质必须是ConsoleLogger的子类，否则会报错 2.程序执行时按照从右到左的顺序调用特质的方法 二.特质当做父接口使用 在Logger3中定义了抽象方法log，Saving3中对log方法进行了实现，并且可以调用Log
阅读全文
摘要：mirrorId repositoryId Human Readable Name for this Mirror. http://my.repository.com/repo/path --> alimaven aliyun maven ...
阅读全文
摘要：scala 中的特质类似java中的接口，但是trait 更灵活，在trait 中 1.可以定义属性（抽象或是非抽象的） 2.可以定义抽象或具体方法 特质几乎和抽象类是一样的（不能定义构造函数） 3.一个类可以混入多个特质，第一个特质使用extends 混入，从第二个特质开始使用with 混入 4.
阅读全文
摘要：1.抽象类要加abstract 修饰 2.抽象类中可以定义抽象属性，方法，也可以定义具体的方法 3.实现类需要实现父类的抽象方法 4.可以直接将父类的抽象属性作为形参传给实现类，如class Employee(val name: String, agex: Int, gen: String)
阅读全文
摘要：1.若继承了父类的属性，则需要加override关键字 ，如下： class Location(override val xc: Int, override val yc: Int, val zc: Int) extends Point(xc, yc) 2.子类继承了父类的属性和方法 3.final
阅读全文
摘要：1.属性的定义 编写一个PersonS类，并在其中定义一些属性，通过PersonS.scala 编译后的情况查看，可以知道不同修饰符修饰的属性分别会生成什么方法（set，get） 编译后用jd-gui 反编译查看 2.构造方法的定义 1）无参主构造函数的定义 反编译结果： 反编译后可以看到，系统会自
阅读全文
摘要：1.从同一个数据源尽量只创建一个rdd，后续业务逻辑复用该rdd2.如果要对某个rdd进行多次的transformation或action操作，应当持久化该rdd3.从数据源读取到rdd后，要尽早的进行filter操作以过滤掉无用的数据4.尽量避免使用shffle算子，使用shuffle时，应尽量减
阅读全文
摘要：SimpleDataFormat 是我们常用的时间转换工具，我再spark中使用sdf对时间戳进行转换，发现转化出的时间有异常，原来sdf是线程不安全的， 改用joda time，错误消失，样例如下 <dependency> <groupId>joda-time</groupId> <artifac
阅读全文
摘要：视频随笔视频地址：hbase教程 1.与传统关系型数据库的区别 hbase 传统分布式 单机列动态增减 建表时候指定只有字符串一种数据类型 数值，字符空值不被存储 存储不支持SQL 查询方式单一，通过rowkey，或rowkey范围，或全表扫描列式 行式非结构化，json 结构化 2.hbase特点
阅读全文
摘要：环境：jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7 一.安装zookeeper（集群模式） 0.安装机器 ip hostname 192.168.100.9 ns1 192.168.100.10 dn1 1.下载zookeeper 2.zookeeper
阅读全文
摘要：1.首先需要创建spark.history.fs.logDirectory 2.修改hadoop-defaults.conf,添加如下内容 修改spark-env.sh 添加如下内容 -Dspark.history.ui.port=7777 #设置日志监控端口 -Dspark.history.ret
阅读全文
摘要：Logger.getRootLogger.setLevel(Level.ERROR) 通过在代码中设置log级别即可
阅读全文
摘要：1.任务是提交在yarn上的，查看 resourceManager页面 有如下信息 Current usage: 58.4 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container
阅读全文
摘要：1.安装jdk 2.安装scala 参照jdk的安装 3.ssh 免密码登录 4.安装hadoop 以上四步请参照 centos7 安装hadoop2.7.6（分布式） 5.安装spark 1）官网下载对应版本 https://archive.apache.org/dist/spark/spark-
阅读全文
摘要：本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop groupadd hadoop 3.创建用
阅读全文
摘要：本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla
阅读全文
浙公网安备 33010602011771号