随笔分类 -  大数据

本地连接 HDFS 报错 Exception in thread "main" org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=JM.H,access=WRITE, inode="":r
摘要：此时 到hdfs机器下修改hdfs-site.xml即可 添加如下配置 阅读全文
posted @ 2019-07-18 09:00 今天早点睡 阅读(990) 评论(0) 推荐(0)
HDFS 命令行基本操作
摘要：1.hdfs命令行 （1）查看帮助 hdfs dfs -help （2）查看当前目录信息 hdfs dfs -ls / （3）上传文件 hdfs dfs -put /本地路径 /hdfs路径 （4）剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt （5）下载文件到 阅读全文
posted @ 2019-07-17 10:07 今天早点睡 阅读(33665) 评论(0) 推荐(2)
在CentOS 7环境下安装 Spark
摘要：1、下载Spark安装包：http://mirror.bit.edu.cn/apache/spark/ 2、解压Spark的安装包并更改名称： （1）tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz （2）mv spark-2.4.3-bin-hadoop2.7.tgz 阅读全文
posted @ 2019-07-15 17:33 今天早点睡 阅读(2095) 评论(0) 推荐(0)
CentOS7 环境下 在Hadoop集群安装Hive
摘要：1、下载Hive的tar.gz包：http://mirror.bit.edu.cn/apache/hive/ 2、放入CentOS 7 系统中并解压：tar -zxvf apache-hive-2.3.3-bin.tar.gz 3、修改文件的名字：mv apache-hive-2.3.3-bin.t 阅读全文
posted @ 2019-07-15 17:30 今天早点睡 阅读(1169) 评论(0) 推荐(0)
大数据工具下载路径
摘要：Apache软件基础发行目录：http://mirror.bit.edu.cn/apache/ Apache软件基础分发目录：https://archive.apache.org/dist/ 1、Hadoop下载路径：http://mirror.bit.edu.cn/apache/hadoop/co 阅读全文
posted @ 2019-07-10 14:07 今天早点睡 阅读(430) 评论(0) 推荐(0)
在CentOS7下搭建Hadoop2.9.0集群
摘要：系统环境：CentOS 7 JDK版本：jdk-8u191-linux-x64 MYSQL版本：5.7.26 Hadoop版本：2.9.0 Hive版本：2.3.4 安装JDK： https://www.cnblogs.com/java-h/p/11127259.html 安装MYSQL https 阅读全文
posted @ 2019-06-29 16:22 今天早点睡 阅读(393) 评论(0) 推荐(0)
查询IP地址的免费API
摘要：1、百度 1、http://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?query=192.168.0.0&co=&resource_id=6006&oe=utf8例：http://sp0.baidu.com/8aQDcjqpAAV3otqbppnN 阅读全文
posted @ 2019-06-28 14:08 今天早点睡 阅读(8459) 评论(0) 推荐(1)