上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 41 下一页
摘要: 1.RPC(在hdfs中的Java操作中用到) 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client),被调用方(server)。 1.3 client主动发起请求,调用... 阅读全文
posted @ 2015-08-16 17:38 chamie 阅读(215) 评论(0) 推荐(0)
摘要: 1.对hdfs操作的命令格式是 1.1hadoop fs -ls 表示对hdfs下一级目录的查看 1.2 hadoop fs-lsr 表示对hdfs目录的递归查看 1.3 hadoop fs-mkdir 创建目录 1.4hadoop fs -put 从linux上传文件到... 阅读全文
posted @ 2015-08-16 17:35 chamie 阅读(7222) 评论(0) 推荐(0)
摘要: 1.ZooKeeper 1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2.如何搭建ZooKeeper服务器集群 2.1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。 2.2 在hadoop0的/usr/local目录下,解压缩zk....tar.... 阅读全文
posted @ 2015-08-16 17:23 chamie 阅读(193) 评论(0) 推荐(0)
摘要: 1、Zookeeper概述 Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 Zookeeper的角色: zk可以用来保证数据在zk集群之间的数据的事务... 阅读全文
posted @ 2015-08-16 17:21 chamie 阅读(262) 评论(0) 推荐(0)
摘要: 在安全模式下:不能增、删、改操作;但可以查看。查看hadoop是否i处于安全模式下: 执行命令:hadoop dfsadmin -safemode get进入hadoop的安全模式下: 执行命令:hadoop dfsadmin -safemode enter离开hadoop的安全模式: 执行命... 阅读全文
posted @ 2015-08-16 15:58 chamie 阅读(722) 评论(0) 推荐(0)
摘要: hadoop的伪分布安装:一台实体机或虚拟机的安装。环境:Windows7、VMWare、CentOS1.1 设置ip地址 说明:在CentOS中的网络的类型: 仅主机模式:虚拟机在Windows外单独建立一个网 桥接模式:虚拟机的IP和Windows的IP在同一个局域网的同一网段,并... 阅读全文
posted @ 2015-08-15 10:57 chamie 阅读(1065) 评论(0) 推荐(1)
摘要: 1hadoop分布式安装hadoop完全分布式安装:3个及以上的实体机或者虚拟机组件的机群。目标: 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNo... 阅读全文
posted @ 2015-08-15 10:52 chamie 阅读(201) 评论(0) 推荐(0)
摘要: 计算文档中不同单词的个数。 hello you hello me步骤如下: 阅读全文
posted @ 2015-08-13 23:17 chamie 阅读(214) 评论(0) 推荐(0)
摘要: 1、单词计数2、数据去重3、排序4、Top K(求数据中的最大值)5、选择6、投影7、分组8、多表连接9、单表关联 阅读全文
posted @ 2015-08-13 21:14 chamie 阅读(335) 评论(0) 推荐(0)
摘要: 1、做,总比坐着想更能提高你的自信!2、我们常以为,要一个人对自己好,就该先对他好。但是,更好的办法是,你想让一个人对你好,就请他帮你一个忙,这个办法之所以更好,是因为我们都很自恋。多数时候,我们看似爱的是别人,其实爱的是自己在这个人身上的付出!如果在一个关系中,你付出了,那么你会很在乎这个关系,但... 阅读全文
posted @ 2015-08-10 00:36 chamie 阅读(526) 评论(0) 推荐(0)
上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 41 下一页