随笔分类 -  大数据相关

有关大数据方面的问题及解决心得
hbase集群导入csv文件
摘要：小数据文件导入： 样例 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,cf:name test /data/test.csv 阅读全文
posted @ 2017-06-26 09:30 赤子说 阅读(3330) 评论(0) 推荐(0)
ssh连接异常：read from socket failed connection reset by peer
摘要：我出现这个问题的原因是：之前将/etc的权限设为777， 这是一个错误的操作！！然后我把权限修改过来(chmod 400 /etc) 重启服务（/bin/systemctl restart ssh.service）就行了 阅读全文
posted @ 2017-05-23 09:40 赤子说 阅读(478) 评论(0) 推荐(0)
centos7 ssh免密码登录
摘要：单机测试 1，设置/etc/hosts 添加主机及ip 2，修改/etc/sysconfig/network NETWORKING=yesNETWORING_IPV6=yesHOSTNAME=master 3，生成密钥： 在/home/hadoop下创建.ssh目录，然后生成密钥 mkdir .ss 阅读全文
posted @ 2017-05-21 14:38 赤子说 阅读(258) 评论(0) 推荐(0)
org.apache.hadoop.security.AccessControlException: Permission denied: user=?, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 异常解决
摘要：进行如下更改：vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml【我的hadoop目录在/usr/local下,具体的是修改你的hadoop目录中的/etc/hadoop/hdfs-site.xml】添加一个property：<property> <name 阅读全文
posted @ 2017-05-18 10:17 赤子说 阅读(258) 评论(0) 推荐(0)
eclipse连接hadoop问题
摘要：1，首先可以测试：hafs dfsadmin -safemode leave2，如果出现下面的问题Error:Permission denied: user= ,access=READ_EXECUTE,inode="/tmp":hadoop:supergroup drwxrwx直接更改/tmp权限就 阅读全文
posted @ 2017-05-16 14:22 赤子说 阅读(113) 评论(0) 推荐(0)
centos中-hadoop单机安装及伪分布式运行实例
摘要：创建用户并加入授权 1，创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件，位于/etc/sudoers，需要root权限才可以读写 找到root ALL=(ALL) ALL这一行，在后面再加上一行就可以了（不用引号）： “use 阅读全文
posted @ 2017-05-15 22:16 赤子说 阅读(331) 评论(0) 推荐(0)
java.net.UnknownHostException 异常解决方案
摘要：1）使用hostname命令设置新的host name与/etc/hosts本机hostname一致 #hostname 本机hostname 具体可以查看：/etc/hosts和//etc/sysconfig/network文件 2）重启网络服务 # /sbin/service network r 阅读全文
posted @ 2017-05-15 10:14 赤子说 阅读(22638) 评论(0) 推荐(0)