摘要：
Linux检查和收集硬件信息的常用命令总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 Linux基础真的很重要，基础不牢，地动山摇。这句话我是听老男孩创始人冉总说的一句话，起初我也不以为然。直到最近我kafka集群出现丢数据的情况，花了3天时间才查明白原因，是由于我磁盘IO到
阅读全文
posted @ 2018-11-09 15:28
尹正杰
阅读(2244)
推荐(0)
摘要：
Linux系统CPU相关信息查询 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.lscpu常用参数介绍 1>.查看帮助信息 2>.以人性化的格式显示cpu信息 3>.查看CPU信息 二.通过查看“/proc/cpuinfo”文件 1>.查看CPU的详细信息 2>.查看物理CP
阅读全文
posted @ 2018-11-09 14:26
尹正杰
阅读(2101)
推荐(0)
摘要：
Linux系统IO分析工具之iotop常用参数介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在一般运维工作中经常会遇到这么一个场景，服务器的IO负载很高（iostat中的util），但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来解决问题。 Wind
阅读全文
posted @ 2018-11-09 11:48
尹正杰
阅读(40321)
推荐(4)
摘要：
JavaScript基础知识-运算符的优先级 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-11-08 22:29
尹正杰
阅读(555)
推荐(0)
摘要：
网络设备监控-Catic添加H3C的监控图解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 首先，我要声明满足2个条件才能作本篇笔记的操作：第一：你得有台cacti服务器，第二：你得有台交换机，这台交换机需要配置团体名并且可以和你的cacti服务器互通。以上两点我已经在之前的笔记
阅读全文
posted @ 2018-11-06 17:09
尹正杰
阅读(2879)
推荐(0)
摘要：
Hadoop基础-MapReduce入门篇之编写简单的Wordcount测试代码 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本文主要是记录一写我在学习MapReduce时的一些琐碎的学习笔记， 方便自己以后查看。在调用API的时候，可能会需要maven依赖，添加依赖的包如下：
阅读全文
posted @ 2018-11-04 22:54
尹正杰
阅读(1866)
推荐(0)
摘要：
Hadoop基础-通过IO流操作HDFS 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.上传文件 二.下载文件 三.定位读取文件
阅读全文
posted @ 2018-11-04 22:50
尹正杰
阅读(1414)
推荐(0)
摘要：
Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令，如果想要了解更多，比如滚动编辑，融合镜像文件，目录的空间配额等运维操作，请参考我之前的笔记：https://www.c
阅读全文
posted @ 2018-11-04 22:42
尹正杰
阅读(1036)
推荐(0)
摘要：
Hadoop基础-HDFS的API常见操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记， 方便自己以后查看。在调用API的时候，可能会需要maven依赖，添加依赖的包如下： 一.HDFS获取文件系统 二.HDFS文件上传
阅读全文
posted @ 2018-11-04 22:10
尹正杰
阅读(658)
推荐(0)
摘要：
Kafka集群优化篇-调整broker的堆内存(heap)案例实操 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s
阅读全文
posted @ 2018-10-31 17:37
尹正杰
阅读(15161)
推荐(1)
摘要：
Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在我的CDH5.15.1集群中，默认安装的spark是1.6版本，开发的同事跟我抱怨，说之前的大数据平台（在ucloud上，属于云服务
阅读全文
posted @ 2018-10-31 12:10
尹正杰
阅读(4645)
推荐(0)
摘要：
HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 用了接近2个星期的时间，终于把公司的需要的大数据组建部署完毕了，当然，在部署的过程中踩了不少坑，自己也对系统，网络，各个大数据生态圈常用软件进行了调优操作，后期等我整理好笔记
阅读全文
posted @ 2018-10-29 18:25
尹正杰
阅读(9925)
推荐(2)
摘要：
YARN基本配置-物理资源分配设置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 折腾了一个星期，终于让开发将数据跑起来了，可通过yarn的webUI界面，发现这里的核心数和内存都对应不上，相差的太远了，我的服务器都是32core，128G内存，12*8T的硬盘。理论上的集群可以
阅读全文
posted @ 2018-10-20 11:59
尹正杰
阅读(2429)
推荐(0)
摘要：
HTML&CSS基础-长表格 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-19 18:05
尹正杰
阅读(468)
推荐(0)
摘要：
HTML&CSS基础-表格的样式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-19 00:40
尹正杰
阅读(4671)
推荐(0)
摘要：
kafka关于修改副本数和分区的数的案例实战（也可用作leader节点均衡案例） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.关于topic分区数的修改 1>.创建1分区1个的topic，名称为yinzhengjie-channel 2>.查看topic的信息 3>.将之前
阅读全文
posted @ 2018-10-18 01:54
尹正杰
阅读(7411)
推荐(1)
摘要：
kafka集群监控之kafka-manager部署(ProdServerStart) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka manager简介 1>.什么是Kafka Manager 2>.kafka manager支持功能 二.部署kafka manag
阅读全文
posted @ 2018-10-18 01:49
尹正杰
阅读(4957)
推荐(0)
摘要：
flume配置kafka channle的实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 最近在新公司负责大数据平台的建设，平台搭建完毕后，需要将云平台（我们公司使用的Ucloud的云服务器，大概320多台，还在扩容中），公司每个月光大数据服务费用就接近50万人民币。老板
阅读全文
posted @ 2018-10-17 17:25
尹正杰
阅读(4148)
推荐(0)
摘要：
HTML&CSS基础-表格简介 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-17 11:11
尹正杰
阅读(1252)
推荐(0)
摘要：
HTML&CSS基础-雪碧图的制作和使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用PS将3张图片合并为一张(温馨提示:整合图片适合整理背景图，如果是img引用的图片并不使用) 1>.将准备的图依次拖入到PS中 2>.拉一根辅助线，并点击"图像" >"画布大小"会弹出
阅读全文
posted @ 2018-10-16 20:24
尹正杰
阅读(2007)
推荐(0)
摘要：
Hadoop生态圈-使用Ganglia监控flume中间件 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Ganglia监控简介 加州伯克利大学千禧计划的其中一个开源项目.是一个集群汇总监控用的的软件，和Cacti不同，cacti是详细监控集群中每台服务器的运行状态，而Gan
阅读全文
posted @ 2018-10-16 16:19
尹正杰
阅读(2661)
推荐(0)
摘要：
JavaScript基础知识-条件运算符(三元运算符) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-15 17:07
尹正杰
阅读(878)
推荐(0)
摘要：
初识Apache Kafka 核心概念 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka概要设计 1>.吞吐量/延迟 2>.消息持久化的优点 3>.负载均衡和故障转移 4>.伸缩性 二.Kafka简介 1>.什么是JMS 2>.JMS的两种工作模式 3>.Kafka的
阅读全文
posted @ 2018-10-12 22:06
尹正杰
阅读(3808)
推荐(0)
摘要：
Hadoop生态圈-CentOs7.5单机部署ClickHouse 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 到了新的公司，认识了新的同事，生产环境也得你去适应新的集群环境，我新入职的公司的大数据开发同时并不看好hbase，而是对clickhouse青睐有加，听他们口头把Cl
阅读全文
posted @ 2018-10-10 19:42
尹正杰
阅读(3263)
推荐(1)
摘要：
安装Cloudera manager agent步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent
阅读全文
posted @ 2018-10-01 19:23
尹正杰
阅读(7963)
推荐(1)
摘要：
安装Cloudera manager Server步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager Serv
阅读全文
posted @ 2018-10-01 17:30
尹正杰
阅读(3248)
推荐(0)
摘要：
ulimit常用参数介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数
阅读全文
posted @ 2018-10-01 12:42
尹正杰
阅读(2251)
推荐(0)
摘要：
Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我之前分享过关于离线方式部署Cloudera Manager5.15.1的笔记。本篇博客给大家分享基于yum源的方式部署Cloudera Mana
阅读全文
posted @ 2018-10-01 09:37
尹正杰
阅读(1485)
推荐(0)
摘要：
Hadoop生态圈-CDH与HUE使用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HUE的介绍 1>.HUE的由来 HUE全称是HadoopUser Experience，看这名字就知道怎么回事了吧。没错，直白来说就是Hadoop用户体验，是一个开源的Apache H
阅读全文
posted @ 2018-09-16 01:22
尹正杰
阅读(970)
推荐(0)
摘要：
Apache Kafka常用配置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用
阅读全文
posted @ 2018-09-15 21:54
尹正杰
阅读(2763)
推荐(0)
摘要：
Hadoop生态圈-Zookeeper的工作原理分析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 无论是是Kafka集群，还是producer和consumer都依赖于Zookeeper集群保存一些mate信息，来保证系统可用性！这个特点会产生一个现象，即会产生大量的网络IO，
阅读全文
posted @ 2018-09-14 23:15
尹正杰
阅读(2161)
推荐(0)
摘要：
Hadoop生态圈-Cloudera Manager的基本使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）
阅读全文
posted @ 2018-09-13 23:02
尹正杰
阅读(3109)
推荐(0)
摘要：
通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblog
阅读全文
posted @ 2018-09-13 02:14
尹正杰
阅读(12014)
推荐(1)
摘要：
Hadoop生态圈-离线方式部署Ambari2.6.0.0 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我现在所在的公司用的是CDH管理Hadoop集群，前端时间去面试时发现很多企业都在用HDP，于是回来捣鼓来一下HDP的部署方式。部署时也踩过不少坑，这里把正确部署Ambari
阅读全文
posted @ 2018-09-12 00:57
尹正杰
阅读(2151)
推荐(0)
摘要：
Hadoop基础-HDFS安全管家之Kerberos实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们都知道hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，我们使用这些组件部署的hdfs分布式文件系统时，都会面临很直
阅读全文
posted @ 2018-09-11 21:34
尹正杰
阅读(2587)
推荐(0)
摘要：
Hadoop基础-Hdfs各个组件的运行原理介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.NameNode工作原理（默认端口号：50070） 1>.什么是NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两
阅读全文
posted @ 2018-09-10 20:21
尹正杰
阅读(1562)
推荐(0)
摘要：
Hadoop基础-HDFS的读取与写入过程剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客会简要介绍hadoop的写入过程，并不会设计到源码，我会用图和文字来描述hdfs的写入过程。 一.hdfs写数据流程 如上图所示，想要把一个4.2G的文件写入到hdfs集群中，它
阅读全文
posted @ 2018-09-09 17:25
尹正杰
阅读(1169)
推荐(0)
摘要：
配置GitLab Push 自动触发Jenkins构建 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客是对之前的笔记：https://www.cnblogs.com/yinzhengjie/p/9607406.html 的一个改进版本，我们可以利用这两篇博客的案例，来实现
阅读全文
posted @ 2018-09-09 12:14
尹正杰
阅读(5473)
推荐(0)
摘要：
关于Jenkins部署代码权限三种方案 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.修改Jenkins进程用户为root 二.将代码目录用户改为Jenkins 上述代码摘自我之前的笔记，详情请参考：https://www.cnblogs.com/yinzhengjie/p/
阅读全文
posted @ 2018-09-08 23:14
尹正杰
阅读(2045)
推荐(0)
摘要：
Jenkins自动发布代码实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Jenkins服务器配置秘钥对并上传到Gitlab中 1>.在Jenkins后端生成秘钥对 2>.查看服务端的公钥和私钥 3>.将Jenkins服务器端的公钥上传到GitLab中 二.Jenkin
阅读全文
posted @ 2018-09-07 22:28
尹正杰
阅读(3550)
推荐(0)
浙公网安备 33010602011771号