随笔分类 -  大数据

spark streaming 实时计算
摘要：spark streaming 实时计算框架 阅读全文

posted @ 2016-10-12 18:37 张日海 阅读(3646) 评论(0) 推荐(0)

hadoop 开发&调试
摘要：写好的hadoop任务打成jar后，可以在服务器上用命令hadoop jar 提交。但开发阶段总不能一直用这种方式来调试，最好是在本机的ide 上可以直接debug。 如果在wiindow上配置一套开发调试环境，说实话真是觉得很不爽。为了以后方便，整理了一下windows 下hadoop开发环境的配 阅读全文

posted @ 2016-09-26 12:40 张日海 阅读(6144) 评论(1) 推荐(1)

spark 安装
摘要：环境配置： ubuntu14.04.4-server 64位 jdk1.7.0_79 hadoop-2.6.0 spark-1.4.1 built for hadoop-2.6.0 spark 的环境部署的主要步骤： 1，机器和网络配置，这里使用VM VirtualBox构建两台虚拟机。 2，安装 阅读全文

posted @ 2016-09-21 14:26 张日海 阅读(1217) 评论(0) 推荐(0)

导航