hopeless-dream

curl 命令

摘要： curl(CommandLine Uniform Resource Locator),即在命令行中利用URL进行数据或者文件传输。常用参数 -w选项支持的变量：https://www.cnblogs.com/zh-dream/p/16534740.html -A/--user-agent <str 阅读全文

posted @ 2020-03-31 15:52 hopeless-dream 阅读(534) 评论(0) 推荐(0)

iperf网络新能评估

摘要：什么是网络性能评估网络新能评估是指检测网络带宽的使用率，最大化利用网络带宽，由于网络设计不合理、网络安全存在漏洞，会导致网络利用率低。iperf正是发现这种问题的网络测试工具。 iperf简介 iperf是一款基于TCP/IP和UDP/IP的网络性能测试工具。可以用来测量网络带宽和网络质量，提供网阅读全文

posted @ 2020-03-30 11:43 hopeless-dream 阅读(1273) 评论(0) 推荐(0)

tcpdump

摘要： tcpdump 一款可以根据使用者定义的规则对网络上的数据包进行截获的包分析工具。使用场景网络应用程序崩溃时，需要确认应用程序收发的数据包格式和内容是否符合设计规范；网络应用程序响应慢，需要确认是否存在网络传输问题或者程序对于输入数据处理慢；用户无法使用网络应用程序时，需要判断是否存在网络连阅读全文

posted @ 2020-03-22 21:11 hopeless-dream 阅读(658) 评论(0) 推荐(0)

git安装和基本使用

摘要：安装git 使用yum方式 $ sudo yum install git -y 源码方式安装源码包获取地址 https://github.com/git/git/releases 安装依赖 $ sudo yum install gcc gcc-c++ curl-devel expat-devel 阅读全文

posted @ 2020-03-11 18:36 hopeless-dream 阅读(651) 评论(0) 推荐(0)

git 读书笔记

摘要：版本控制的概念版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统本地版本控制系统和集中化的版本控制系统本地版本控制系统是在本地磁盘上保存补丁集（文件修改前后的变化），通过应用所有的补丁，可以重新计算出各个版本的文件内容。集中化的版本控制系统（Centralized 阅读全文

posted @ 2020-03-10 14:22 hopeless-dream 阅读(225) 评论(0) 推荐(0)

hadoop集群委任和解除节点

摘要： Hadoop集群经常需要添加节点或者从集群中移出故障节点。委任新datanode 向集群添加datanode，需要通过hdfs的hdfs-site.xml的配置参数dfs.hosts来实现，然后启动datanode进程。将源集群的配置文件拷贝至新节点待用。在配置文件路径/opt/module/ 阅读全文

posted @ 2020-03-08 20:41 hopeless-dream 阅读(304) 评论(0) 推荐(0)

hadoop参数

摘要： core-site.xml 重要参数 hadoop.tmp.dir=/tmp/hadoop-${user.name} Hadoop的临时目录，其它目录会基于此路径。本地目录。只可以设置一个值；建议设置到一个足够空间的地方，而不是默认的/tmp下服务端参数，修改需重启 hadoop.securit 阅读全文

posted @ 2020-03-08 14:09 hopeless-dream 阅读(1716) 评论(0) 推荐(0)

HDFS启动及读写过程（读书笔记）

摘要： HDFS启动过程整个启动过程分为两个部分： 1、namenode启动（1）第一次启动namenode格式化后，创建fsimage和edits（在namenode所在结点的hadooop/data目录下）文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的阅读全文

posted @ 2020-03-07 21:14 hopeless-dream 阅读(879) 评论(0) 推荐(0)

hadoop QJM高可用原理

摘要： HDFS的高可用性联邦hdfs 由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。Hadoop在2.x的版本引入了联邦HDFS（HDFS Federation），通过在集群中添加namenode实现。 Federation的阅读全文

posted @ 2020-03-07 17:47 hopeless-dream 阅读(1217) 评论(0) 推荐(0)

hadoop QJM高可用集群