摘要： 查询日志后是‘ Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exist’此错误（less /var/log/mysqld.log） 试着把mysql全部删除干净，一般删除不干净（删除后残留 阅读全文

摘要： HDFS命令分为用户命令（dfs，fsck等）,管理员命令（dfsadmn,namenode,datanode等） hdfs -ls -lsr 执行lsr 是递归显示 drwxr-xr-x -hadoop（当前用户） supergroup（所属的组） d文件夹,接下来四个是当前用户-从组-其他（权限 阅读全文

摘要： create table index_tmp(id int,name string,dt string) row format delimited fields terminated by ',' stored as textfile; load data local inpath '/usr/lo 阅读全文

摘要： 解决方法:系统启动的时候，按下‘e’键进入grub编辑界面，编辑grub菜单，选择“kernel /vmlinuz-2.6.23.1-42.fc8 ro root=/dev/vogroup00/logvol00 rhgb quiet” 一栏，按‘e’键进入编辑，在末尾增加enforcing=0，即： 阅读全文

摘要： 以前一直搞不懂linux软连接用什么 只知道是类似于linux的快捷方式 sudo ln -s /home/hadoop/bigdata/jdk1.7.0_79/ /usr/local/jdk（创建软连接的方式） 此语句会创建 /home/hadoop/bigdata/jdk1.7.0_79/ 的一 阅读全文

摘要： 登陆时报以下错误Unable to get valid context for rootLast login: Wed Jul 24 02:06:01 2013 from 10.64.41.3 单机模式进入后#vi /var/log/secure Jul 24 02:20:46 JDC2-TMSP- 阅读全文

摘要： 1 使用useradd hadoop 添加用户 2 使用passwd hadoop 设置用户密码 3 给用户赋予使用sudo命令权限 4 chmod u+w /etc/sudoers （给root用户添加修改权限） 5 vim /etc/sudoers 6 7 chmod u-w /etc/sudo 阅读全文

摘要： 劣势：需要重启集群（不灵活，UDF更新频繁不适用） 优势：可以不用过多分发hive jar文件,节省了IO 流量 小企业不适用,大企业用的比较多 mapreduce 里面用distribution cahe方式（MR开发比较少 用jar更少） 阅读全文

摘要： 由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异，因此，传统数据库领域的一些技能放到 Hive 中可能已不再适用。关于 hive 的优化与原理、应用的文章，前面也陆陆续续的介绍了一些，但大多都偏向理论层面，本文就介绍一个实例，从实例中一步步加深对 hive 调优的认识与意 阅读全文

摘要： hadoop job -list 列出正在运行的job hadoop job -kill kill掉job hadoop fsck 检查HDFS坏快 hadoop dfsadmin -report检查HDFS状态包括NN信息 hadoop dfsadmin -safemode enter|leave 阅读全文