随笔分类 - 历史_Hadoop日志
hadoop
摘要：要求：和前一篇的要求正好相反。。 在HDFS中生成一个130KB的文件： 代码如下： 运行的结果： 代码如下：
阅读全文
摘要：要求如下： 自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序（可以利用Java API或C API），读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。 正好写入了20个字节 代码：
阅读全文
摘要：在myclass之中创建类文件，这个myclass目录是自己创建的。 编译的时候会报如下的错误： 很明显就是没有导入包的结果 见这个API网站，则可以找到响应的包,当然还有java的api文档 http://hadoop.apache.org/docs/r1.2.1/api/index.html h
阅读全文
摘要：上面的Path的包是导入错误了，nio中的包是抽象类，是无法创建的，所以换地方更改。 修改之后，指定jar包之后，编译成功，如下，并进行文件的读取操作，依然是成功啦：
阅读全文
摘要：用于装在编译类，即为hadoop的类路径 退出后重新登录，再使用env检查。 jps可以直接使用了，表示已经设置成功。 在myclass之中创建类文件，这个myclass目录是自己创建的。
阅读全文
摘要：必须要用打全路径，没有相对路径的概念，或者cd的概念 打印报告： 所有的命令显示出来： 以下的操作分别是创建创建文件夹，删除文件夹，显示文件夹，可见删除文件夹只能够使用-rmr 。 从本地拷贝文件到hdfs: 可以看到，开始时，目录里面什么逗没有，然后使用了put命令之后，文件就被拷贝到了home目
阅读全文
摘要：namenode和datanode 的namespaceID导致,datanode无法正常的启动，经过查资料，解决的办法就是更改datanode的VERSION之中的namespace namenode和datanode 的namespaceID导致,datanode无法正常的启动，经过查资料，解决
阅读全文
摘要：用ssh登录一个机器（换过ip地址）会出现如下错误 weiguohui@weiguohui1-virtual-machine:~/.ssh$ ssh 172.16.33.53The authenticity of host '172.16.33.53 (172.16.33.53)' can't be
阅读全文
摘要：上一篇：Hadoop的安装（日志四） 1，算法的原理解释： 如下图所示，G就是传说中的谷歌矩阵，这个矩阵是n*n型号的，n表示共计有n个网页。 如矩阵中所示： 11位置处的元素，是表示第一个网页指向的第一个网页的比例值。 12元素，第二个网页指向第一个网页的比例值。 所谓的比例值，这个名称是我给取的
阅读全文
摘要：上一篇：SSH免密码（日志三） 1，进入conf目录，查看所有的文件 2，第一个修改的是hadoop-env.sh的文件，配置javahome的地址 3，第二个就是配置core-site的文件，包括临时目录和Namenode 4，第三个，配置hdfs-site.xml的文件，表示复制多少份 5，配置
阅读全文
摘要：上一篇：JDK安装以及安装过程中出现的问题（日志二） 原理，就是RSA加密，含有公钥和私钥，具体言之，用公钥来确认请求人是否是私钥的持有人。 1， 2， 3， 4， ssh免密码过程中遇到的问题：需要创建一个同名的账户，这样才可以免密码，以为免密码跳转的时候，只能是同一个账户 下一篇：Hadoop的
阅读全文
摘要：上一篇：初识hadoop-历史及其家族（日志一） 我安装的这个版本的Ubuntu，已经在java包中存在了，所以当使用java -versioｎ的时候，会出现下载包的提示，使用apt-get命令之后，会下载了包，但是这个包里面的bin目录，很显然是缺乏jps这个进程统计的命令的，所以不行，需要 另外
阅读全文
摘要：1,书籍推荐： 2，Google技术带来的东西： 下一篇：JDK的安装级其中遇到的问题
阅读全文
浙公网安备 33010602011771号