2019年8月1日

scala面向对象编程

摘要: //scala 中简单的类的实例化调用object test { def main(args: Array[String]): Unit = { val hello=new student hello.increase() println(hello.fun()) } class student{ private var age=18 val name=... 阅读全文

posted @ 2019-08-01 15:40 床上小老虎 阅读(187) 评论(0) 推荐(0)

2019年7月31日

springboot连接mysql简单例子

摘要: 第一步: 打开 https://start.spring.io/ 输入 mysql client,web,jdbc,jpa 然后 idea import 进入idea 连接mysql逻辑 阅读全文

posted @ 2019-07-31 16:45 床上小老虎 阅读(2394) 评论(0) 推荐(0)

2019年7月17日

kafka+spark(待整理)

摘要: 下面才是正规的 pom.xml 和 自己集群版本一致 然后 kafka 部分 (版本为 scala 2.2.* ) kafka 2.2 (2.1 不支持指定broker) 集群方式 组件版本 阅读全文

posted @ 2019-07-17 22:49 床上小老虎 阅读(399) 评论(0) 推荐(0)

2019年7月14日

spark RDD 多流程练习操作

摘要: 当然原文件和目标文件都在hdfs中 代码 pom文件为 结果 阅读全文

posted @ 2019-07-14 20:05 床上小老虎 阅读(290) 评论(0) 推荐(0)

梳理spark提交流程

摘要: 很久不写spark代码,提交的时候遇到不少问题,操! 先记录下来,以后方便查看 先启动 spark集群,这里是三台(dfs-yarn-zk-spark) 启动完毕之后,需要关闭master服务 sbin/stop-master.sh 以ip方式启动 ./sbin/start-master.sh -h 阅读全文

posted @ 2019-07-14 16:35 床上小老虎 阅读(355) 评论(1) 推荐(0)

2019年7月11日

storm WC 2 (根据日志)

摘要: 1.产生虚拟日志 package les7.readFileTopo; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.util.Random; public 阅读全文

posted @ 2019-07-11 11:41 床上小老虎 阅读(133) 评论(0) 推荐(0)

2019年7月8日

storm写入hbase

摘要: 测试的时候 要在 windows 上修改 hosts文件 添加主机 URL :hostname 单机版hbase利用自带的zk的时候 需要在 ${hbase_home}/bin/hbase-site.xml 添加 CountBolt DataSourceSpout SplitBolt WordCou 阅读全文

posted @ 2019-07-08 14:11 床上小老虎 阅读(998) 评论(1) 推荐(0)

2019年7月7日

storm写入到hdfs

摘要: spout bolt pom 阅读全文

posted @ 2019-07-07 22:38 床上小老虎 阅读(733) 评论(0) 推荐(0)

2019年7月4日

大牛笔记

摘要: https://github.com/heibaiying/BigData-Notes/blob/master/notes/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AD%A6%E4%B9%A0%E8%B7%AF%E7%BA%BF.md https://github.com/Snailclimb/JavaGuide 阅读全文

posted @ 2019-07-04 14:59 床上小老虎 阅读(190) 评论(0) 推荐(0)

storm wordcount练手

摘要: spout 拆分 bolt 合并 bolt spout 拆分bolt 计数bolt 拓扑链接 阅读全文

posted @ 2019-07-04 11:18 床上小老虎 阅读(229) 评论(2) 推荐(0)

导航