会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
kyming
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
2021年11月30日
大数据之map
摘要: 1.编写map函数,reduce函数 cd /home/hadoopmkdir wccd /home/hadoop/wctouch mapper.py1touch reducer.py 编写两个函数 mapper.py: import sysfor line in sys.stdin: line =
阅读全文
posted @ 2021-11-30 20:12 kyming
阅读(36)
评论(0)
推荐(0)
2021年11月16日
大数据之Hadoop
摘要: Hadoop是道格·卡丁(Doug Cutting)创建的,Hadoop起源于开源网络搜索引擎Apache Nutch,后者本身也是Lucene项目的一部分。Nutch项目面世后,面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统,做出了自己的开源系统NDFS分布式文件系
阅读全文
posted @ 2021-11-16 15:11 kyming
阅读(85)
评论(0)
推荐(0)
2021年11月12日
大数据--Hbase
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 2.启动HDFS,启动HBase,进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 8.多版本实验:修改列族版本数
阅读全文
posted @ 2021-11-12 21:11 kyming
阅读(50)
评论(0)
推荐(0)
大数据--HDFS
摘要: 启动HDFS,启动HBase 停止Hbase,停止HDFS运行
阅读全文
posted @ 2021-11-12 21:03 kyming
阅读(19)
评论(0)
推荐(0)
上一页
1
2
3
公告