十光年

摘要： Ctrl+Alt+V 快速补全变量名 Alt+Enter 自动修复 psvm 生成main方法 Ctrl+X 删除一行 Ctrl+D 复制一行 Ctrl+N 查找类 Ctrl+P 显示方法参数 Ctrl+Q 显示方法的文档内容 Ctrl+B 进入方法 Ctrl+U 进入父类方法/进入接口 Ctrl+H 显示当前类... 阅读全文

摘要： 使用Scala编写Spark程序求基站下移动用户停留时长TopN 1. 需求：根据手机基站日志计算停留时长的TopN 我们的手机之所以能够实现移动通信，是因为在全国各地有许许多多的基站，只要手机一开机，就会和附近的基站尝试建立连接，而每一次建立连接和断开连接都会被记录到移动运营商的基站服务器的日志中 阅读全文

摘要： 编写Spark的WordCount程序并提交到集群运行[含scala和java两个版本] 1. 开发环境 2. 创建项目1) 新建Maven项目 2) 在pom文件中导入依赖pom.xml文件内容如下： 虽然我们的pom文件中的jar包依赖准备好了，但是在Project的External Libra 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： 文章来源：http://www.powerxing.com/hadoop-build-project-using-eclipse/ 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Ecli 阅读全文

摘要： 通过Eclipse的hadoop插件中的"run on hadoop"命令的原理：它不是把jar包发送到hadoop集群上去运行，而只是使用了hadoop集群上的hdfs，从hdfs中获取文件，至于执行，是执行你本地的hadoop包来运行你编写的MapReduce程序，所以Hadoop集群中不用启动 阅读全文

摘要： http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 阅读全文

摘要： 在Windows下面运行hadoop的MapReduce程序的方法： 1.下载hadoop的安装包，这里使用的是"hadoop-2.6.4.tar.gz": 2.将安装包直接解压到D盘根目录: 3.配置环境变量： 4.下载hadoop的eclipse插件，并将插件放到eclipse的plugins目 阅读全文

摘要： 通过web界面查看hadoop集群运行日志的地址： http://hostname:8088/logs/ 阅读全文