市丸银

摘要： 一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R 阅读全文

摘要： 一、优缺点 A、优点 1、高容错性 默认开启三个副本 2、适合处理大数据 3、廉价 B、缺点 1、速度慢，不适合低延迟的数据访问 2、无法高效的对大量小文件进行存储，小文件占用 NameNode 3、不支持并发写入，只支持append(追加) HDFS块的大小设置主要取决于磁盘传输速率（机器性能） 阅读全文

摘要： 官方地址：https://mirrors.tuna.tsinghua.edu.cn/help/centos/ 前提：连接外网 1、copy sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 阅读全文

摘要： 一、crond 系统定时任务 1、启动服务 service crond start 2、crontab基本语法 * * * * * 分 时 日 月 星期（0-7）0和 7代表 星期日 特殊符号 * 代表任意时间 , 代表不连续的时间 - 代表连续的时间 */n 代表每隔多久执行一次 二、集群时间同步 阅读全文

摘要： 注意：使用xysnc，出现权限问题，使用 root 一、基本配置 1、hosts 和 hostname 2、开启 ssh 和 无密连接 3、固定静态IP 4、配置 xsync 5、安装配置JDK 6、安装配置Hadoop 7、修改权限 (若不修改权限会出现权限问题) sudo chown -R to 阅读全文

摘要： 开启防火墙端口 netstat -ano |grep 50070 firewall-cmd --get-active-zones sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent sudo firewall-cmd -- 阅读全文

摘要： 重要：信息用原生JDK坑太多了，所以卸掉，安装自己的JDK 参考博客：https://www.cnblogs.com/jpfss/p/9677827.html 官方：https://hadoop.apache.org/ 文档：http://hadoop.apache.org/docs/r2.7.7/ 阅读全文

摘要： 不同Linux，操作不同 一、环境配置(CentOS7) 0、安装Linux实体机 1、开启远程连接 a、检测 openssh-server 是否安装 yum list installed | grep openssh-server b、安装 openssh-server yum install o 阅读全文

摘要： 一、特点 1、高可靠性 2、高扩展性 3、高效性 4、高容错性 二、发行版本 1、Apache版本 2、CDH版本 3、Hortonworks版本 三、Hadoop版本区别 Hadoop 1.X HDFS 数据存储 MapReduce 计算 + 资源调度 Hadoop2.X HDFS 数据存储 Ya 阅读全文

摘要： 一、概念： 1、海量数据的储存 2、海量数据的分析计算二、特点(4V) 1、大量 2、高速 3、多样 4、低价值密度 阅读全文