Scala学习4 Class
摘要:import org.junit.Test /** * 关于scala Class的get、set方法的描述 */ class C4_Class { } //定义一个简单的类 // 定义类,包含field以及方法 class HelloWorld { private var name = "leo" def sayHello() { println...
阅读全文
Scala学习3 Map
摘要:import org.junit.Test /** *可变和不可变Map的操作、遍历 */ class C3_Map { @Test def immutableMapTest(): Unit = { // 使用另外一种方式定义Map元素 val ageMap = Map(("Leo", 30), ("Jen", 25), ("Jack"...
阅读全文
Scala学习2 Array、ArrayBuffer
摘要:import org.junit.Test /** * Array、ArrayBuffer的构造,操作,遍历等 */ class C2_Array { @Test def arrTest(): Unit = { //在Scala中,Array代表的含义与Java中类似,也是长度不可改变的数组。 // 此外,由于Scala与Java都是运...
阅读全文
Scala学习1 基本数据类型,条件,循环
摘要:补充:Scala的数据类型 Scala 与 Java有着一些相同的数据类型,下表列出了 Scala 支持的数据类型:
阅读全文
flink1.9新特性:维表Join解读
摘要:详见我的CSDN博客:https://blog.csdn.net/u012554509/article/details/100533749
阅读全文
Blink源码编译
摘要:首先使用git bash克隆代码到本地 git clone https://github.com/apache/flink.git 然后切换到blink分支 git checkout blink 在安装好的maven或pom中添加以下镜像: 运行mvn命令进行编译(我是在IDEA的控制台跑的): m
阅读全文
Flink Maven项目兼容多版本Kafka
摘要:主要有两种方法可以解决:修改jar包内部的包名或者使用自定义classloader Flink需要导入kafka-clients来支持对kafka的生产和消费。kafka-clients0.11提供的api仅在kafka0.11、kafka0.10版本可用,如果要对kafka0.8、kafka0.9
阅读全文
天龙八部谁是主角?(MR词频统计)
摘要:天龙八部主要是对段誉、萧峰、虚竹三人的描写,那么谁才是真正的主角呢?这次姑且认为小说中谁的出现次数多谁是主角。 实验在linux环境下 首先下载天龙八部wget http://labfile.oss.aliyuncs.com/hadoop/tlbbtestfile.txt安装结巴分词sudo pip
阅读全文
elasticsearch CURL命令
摘要:CURL命令简单可以认为是在命令行下访问url的一个工具,是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。 首先需要在后台启动elasticsearchelasticsearch-2.2.0/bin/elasticsearch -d启动kib
阅读全文
HBase Shell基本操作
摘要:首先启动hadoop集群与hbase服务start-all.shhbase-1.1.3/bin/start-hbase.sh接下来使用hbase shell命令来连接正在运行的Hbase实例,该命令位于HBase安装包下的bin/目录hbase-1.1.3/bin/hbase shell 查看HBa
阅读全文
hive on spark
摘要:https://www.shiyanlou.com/courses/809/labs/2850/document 启动mysql服务sudo service mysql start 启动hive(jps出现RunJar)并查看数据库和表hive/bin/hive --service metastor
阅读全文
Spark SQL解析Json
摘要:学习链接:https://www.shiyanlou.com/courses/809 首先切换用户:su hadoophadoop 进入opt目录cd /opt 第一次使用时,最好先把core-site.xml中的tmp文件位置改一下,然后格式化hdfs,hadoop-2.6.1/bin/hdfs
阅读全文
hadoop环境搭建
摘要:目标:创建1个4台机器的hadoop集群(1台namenode和3台datanode),这四台机器可以互相ping通。 参考文档:http://www.mashibing.com/hadoop_install.html 1 首先下载所需软件 下载VirtualBox http://download.
阅读全文