08 2018 档案

HDFS的使用
摘要：HDFS-namenode 原理：记录元数据(hdfs的目录结构、块信息等) 1.会将树形的数据结构对象序列化到namenode工作目录中的faimages文件中，隔一段时间序列化一次。 对hdfs的修改操作被记录下来，存在磁盘--edits日志文件。 如果挂机了先反序列化faimages的文件，但 阅读全文
posted @ 2018-08-30 09:57 赵先先森 阅读(1425) 评论(0) 推荐(0)
zookeeper
摘要：zookeeper 是一个分布式协调服务，为用户的分布式应用程序提供协调服务。 使用场景/作用：为集群的节点提供监听，保存一定的配置数据。zookeeoer本身就是分布式的程序。 ++可以为客户管理少量数据kv++ ++/aa "hello" ++ ++可以为客户端监听指定数据节点的状态并在数据节点 阅读全文
posted @ 2018-08-28 11:07 赵先先森 阅读(203) 评论(0) 推荐(0)
hadoop搭建
摘要：1.安装jdk 2.下载：hadoop.apache.org 解压缩hadoop-x.x.x 程序jar包：share/hadoop 3.配置文件：cd etc -> hadoop-env.sh : export JAVA_HOME 3.1 core-site.xml 3.2 hdfs-site.x 阅读全文
posted @ 2018-08-25 16:47 赵先先森 阅读(180) 评论(0) 推荐(0)
高级文本处理命令
摘要：echo $PATH | cut -d ':' -f 3 : 输出path信息作为cut的输入 -d 以:为分割 -f输出第3列的信息。 cat /etc/passwd | sort -t ':' -k 7nr 数字表示根据第几列排序，n表示数子形式，r表示倒序 cat /etc/passwd | 阅读全文
posted @ 2018-08-10 16:10 赵先先森 阅读(191) 评论(0) 推荐(0)
简单shell命令
摘要：系统变量，显示当前shell的所有变量 set 引用变量$加变量名 全局变量：export 变量名 将命令的返回值赋值给变量: A=`ls -la` 反引号 等同于 A=$(ls -la) 判断语句：[ condition ] && echo OK || echo nook （条件成立执行&&后面的 阅读全文
posted @ 2018-08-04 18:40 赵先先森 阅读(148) 评论(0) 推荐(0)
linux常用命令
摘要：chmod find chown mkdir rm 统计文件或文件夹大小 du -sh 路径 查看磁盘空间 df -h 拷贝文件 -- cp 文件 目标目录 查看文件内容 -- cat(全部查看) more(翻页查看) less(翻页和一行查看，搜索关键字 -/) tail -10 文件名 (查看文 阅读全文
posted @ 2018-08-02 17:01 赵先先森 阅读(152) 评论(0) 推荐(0)