• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
数据分析之旅
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2015年7月12日

Apache Spark 1.4 读取 hadoop 2.6 文件系统上文件
摘要: scala> val file = sc.textFile("hdfs://9.125.73.217:9000/user/hadoop/logs") scala> val count = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) scala> count.collect() ... 阅读全文
posted @ 2015-07-12 21:45 风中的板砖 阅读(2069) 评论(0) 推荐(0)
 
在RHEL 6.5上部署Hadoop 2.6伪分布式模式(单机)
摘要: 第一步:安装JAVA 1.7 此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html 第二步:创建Haddop专用用户 虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用的用户(本例中为hadoop,实际中... 阅读全文
posted @ 2015-07-12 21:30 风中的板砖 阅读(188) 评论(0) 推荐(0)
 
 

2015年7月8日

R语言数据分析、展现与实例 (第一周)
摘要: 课后习题: x1 = c(13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70); print(round(mean(x1))); #平均值 print(median(x1,na.rm=TRUE)); #中值 阅读全文
posted @ 2015-07-08 22:13 风中的板砖 阅读(515) 评论(0) 推荐(0)
 
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3