随笔分类 -  Hadoop及其大数据系列

摘要：今下午在课上没有将实验做完，课下进行了补充，最终完成。下面附上厦门大学数据库实验室中spark实验官网提供的标准答案，以供参考。 三、实验内容和要求 1．Spark SQL 基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employ 阅读全文

摘要：继上篇ubantu系统修改权限失败，导致只能客人会话登录解决办法博客，虽然进行了相应的修改，但是却出现了登录死循环情况，于是再次进行修改。 第一步：“ctrl+Alt+F1”进入命令行界面，输入用户名+密码，登陆进去。 第二步：这次应该是按照以前的办法输入“startx”命令，但是出现了“timeo 阅读全文

摘要：由于之前想将用户授予root权限，参考了网上的修改“用户名:x:0:500:tommy:/home/tommy:/bin/bash”，将两个1000改为0的办法，可能是因为没有注销，导致切换用户后，只能进入到客人会话模式。并且悲催地忘了root密码，于是下面介绍一下自己的拯救办法： 第一步：关闭“客 阅读全文

摘要：Redis：Remote dictionary server（远程字典服务器），使用C语言编写，支持BSD开源协议，支持高性能（key-value键值对）分布式内存，基于内存运行，支持持久化的NoSQL。 Redis默认16个数据库，脚标从0开始，默认进入的为0号数据库。 开启、关闭命令： ps - 阅读全文

摘要：问题的原因是，未将hadoop命令添加至执行路径。 因此,在Linux环境下输入： 检验hadoop命令是否可用，输入： 若出现类似下面的代码，而不是“hadoop：未找到命令”，即配置成功： 使hadoop命令永久生效方法： 如果第二次开机后，仍旧提示“hadoop：未找到命令”，那就是上次修改的 阅读全文

摘要：之前参考厦门大学林子雨老师的hadoop简略配置教程，将hadoop配置完毕后，使用“hadoop fs”对其进行文件操作时提示：“hadoop：未找到命令”，才知道还没有将hadoop加入命令。那么解决方法主要有以下两种： 一、添加"./bin"或者“./sbin”命令： 进入hadoop的安装目 阅读全文

摘要：这两天在虚拟机上装了ubantu系统，在将namenode格式化时（即运行“bin/hadoop namenode -format”语句），总会出现下面的错误： core-site.xml.DocumentException: Error on line 2 of document : lineNu 阅读全文