摘要：
Hadoop基础-通过IO流操作HDFS 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.上传文件 二.下载文件 三.定位读取文件
阅读全文
posted @ 2018-11-04 22:50
尹正杰
阅读(1409)
推荐(0)
摘要：
Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令，如果想要了解更多，比如滚动编辑，融合镜像文件，目录的空间配额等运维操作，请参考我之前的笔记：https://www.c
阅读全文
posted @ 2018-11-04 22:42
尹正杰
阅读(1028)
推荐(0)
摘要：
Hadoop基础-HDFS的API常见操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记， 方便自己以后查看。在调用API的时候，可能会需要maven依赖，添加依赖的包如下： 一.HDFS获取文件系统 二.HDFS文件上传
阅读全文
posted @ 2018-11-04 22:10
尹正杰
阅读(652)
推荐(0)
摘要：
Kafka集群优化篇-调整broker的堆内存(heap)案例实操 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s
阅读全文
posted @ 2018-10-31 17:37
尹正杰
阅读(15135)
推荐(1)
摘要：
Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在我的CDH5.15.1集群中，默认安装的spark是1.6版本，开发的同事跟我抱怨，说之前的大数据平台（在ucloud上，属于云服务
阅读全文
posted @ 2018-10-31 12:10
尹正杰
阅读(4639)
推荐(0)
摘要：
HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 用了接近2个星期的时间，终于把公司的需要的大数据组建部署完毕了，当然，在部署的过程中踩了不少坑，自己也对系统，网络，各个大数据生态圈常用软件进行了调优操作，后期等我整理好笔记
阅读全文
posted @ 2018-10-29 18:25
尹正杰
阅读(9905)
推荐(2)
摘要：
YARN基本配置-物理资源分配设置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 折腾了一个星期，终于让开发将数据跑起来了，可通过yarn的webUI界面，发现这里的核心数和内存都对应不上，相差的太远了，我的服务器都是32core，128G内存，12*8T的硬盘。理论上的集群可以
阅读全文
posted @ 2018-10-20 11:59
尹正杰
阅读(2416)
推荐(0)
摘要：
HTML&CSS基础-长表格 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-19 18:05
尹正杰
阅读(464)
推荐(0)
摘要：
HTML&CSS基础-表格的样式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-19 00:40
尹正杰
阅读(4666)
推荐(0)
摘要：
kafka关于修改副本数和分区的数的案例实战（也可用作leader节点均衡案例） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.关于topic分区数的修改 1>.创建1分区1个的topic，名称为yinzhengjie-channel 2>.查看topic的信息 3>.将之前
阅读全文
posted @ 2018-10-18 01:54
尹正杰
阅读(7396)
推荐(1)
摘要：
kafka集群监控之kafka-manager部署(ProdServerStart) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka manager简介 1>.什么是Kafka Manager 2>.kafka manager支持功能 二.部署kafka manag
阅读全文
posted @ 2018-10-18 01:49
尹正杰
阅读(4952)
推荐(0)
摘要：
flume配置kafka channle的实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 最近在新公司负责大数据平台的建设，平台搭建完毕后，需要将云平台（我们公司使用的Ucloud的云服务器，大概320多台，还在扩容中），公司每个月光大数据服务费用就接近50万人民币。老板
阅读全文
posted @ 2018-10-17 17:25
尹正杰
阅读(4142)
推荐(0)
摘要：
HTML&CSS基础-表格简介 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-17 11:11
尹正杰
阅读(1252)
推荐(0)
摘要：
HTML&CSS基础-雪碧图的制作和使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用PS将3张图片合并为一张(温馨提示:整合图片适合整理背景图，如果是img引用的图片并不使用) 1>.将准备的图依次拖入到PS中 2>.拉一根辅助线，并点击"图像" >"画布大小"会弹出
阅读全文
posted @ 2018-10-16 20:24
尹正杰
阅读(2000)
推荐(0)
摘要：
Hadoop生态圈-使用Ganglia监控flume中间件 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Ganglia监控简介 加州伯克利大学千禧计划的其中一个开源项目.是一个集群汇总监控用的的软件，和Cacti不同，cacti是详细监控集群中每台服务器的运行状态，而Gan
阅读全文
posted @ 2018-10-16 16:19
尹正杰
阅读(2655)
推荐(0)
摘要：
JavaScript基础知识-条件运算符(三元运算符) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果
阅读全文
posted @ 2018-10-15 17:07
尹正杰
阅读(876)
推荐(0)
摘要：
初识Apache Kafka 核心概念 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka概要设计 1>.吞吐量/延迟 2>.消息持久化的优点 3>.负载均衡和故障转移 4>.伸缩性 二.Kafka简介 1>.什么是JMS 2>.JMS的两种工作模式 3>.Kafka的
阅读全文
posted @ 2018-10-12 22:06
尹正杰
阅读(3774)
推荐(0)
摘要：
Hadoop生态圈-CentOs7.5单机部署ClickHouse 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 到了新的公司，认识了新的同事，生产环境也得你去适应新的集群环境，我新入职的公司的大数据开发同时并不看好hbase，而是对clickhouse青睐有加，听他们口头把Cl
阅读全文
posted @ 2018-10-10 19:42
尹正杰
阅读(3259)
推荐(1)
摘要：
安装Cloudera manager agent步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent
阅读全文
posted @ 2018-10-01 19:23
尹正杰
阅读(7944)
推荐(1)
摘要：
安装Cloudera manager Server步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager Serv
阅读全文
posted @ 2018-10-01 17:30
尹正杰
阅读(3246)
推荐(0)
摘要：
ulimit常用参数介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数
阅读全文
posted @ 2018-10-01 12:42
尹正杰
阅读(2244)
推荐(0)
摘要：
Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我之前分享过关于离线方式部署Cloudera Manager5.15.1的笔记。本篇博客给大家分享基于yum源的方式部署Cloudera Mana
阅读全文
posted @ 2018-10-01 09:37
尹正杰
阅读(1480)
推荐(0)
摘要：
Hadoop生态圈-CDH与HUE使用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HUE的介绍 1>.HUE的由来 HUE全称是HadoopUser Experience，看这名字就知道怎么回事了吧。没错，直白来说就是Hadoop用户体验，是一个开源的Apache H
阅读全文
posted @ 2018-09-16 01:22
尹正杰
阅读(961)
推荐(0)
摘要：
Apache Kafka常用配置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用
阅读全文
posted @ 2018-09-15 21:54
尹正杰
阅读(2756)
推荐(0)
摘要：
Hadoop生态圈-Zookeeper的工作原理分析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 无论是是Kafka集群，还是producer和consumer都依赖于Zookeeper集群保存一些mate信息，来保证系统可用性！这个特点会产生一个现象，即会产生大量的网络IO，
阅读全文
posted @ 2018-09-14 23:15
尹正杰
阅读(2159)
推荐(0)
摘要：
Hadoop生态圈-Cloudera Manager的基本使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）
阅读全文
posted @ 2018-09-13 23:02
尹正杰
阅读(3106)
推荐(0)
摘要：
通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblog
阅读全文
posted @ 2018-09-13 02:14
尹正杰
阅读(12005)
推荐(1)
摘要：
Hadoop生态圈-离线方式部署Ambari2.6.0.0 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我现在所在的公司用的是CDH管理Hadoop集群，前端时间去面试时发现很多企业都在用HDP，于是回来捣鼓来一下HDP的部署方式。部署时也踩过不少坑，这里把正确部署Ambari
阅读全文
posted @ 2018-09-12 00:57
尹正杰
阅读(2133)
推荐(0)
摘要：
Hadoop基础-HDFS安全管家之Kerberos实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们都知道hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，我们使用这些组件部署的hdfs分布式文件系统时，都会面临很直
阅读全文
posted @ 2018-09-11 21:34
尹正杰
阅读(2584)
推荐(0)
摘要：
Hadoop基础-Hdfs各个组件的运行原理介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.NameNode工作原理（默认端口号：50070） 1>.什么是NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两
阅读全文
posted @ 2018-09-10 20:21
尹正杰
阅读(1547)
推荐(0)
摘要：
Hadoop基础-HDFS的读取与写入过程剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客会简要介绍hadoop的写入过程，并不会设计到源码，我会用图和文字来描述hdfs的写入过程。 一.hdfs写数据流程 如上图所示，想要把一个4.2G的文件写入到hdfs集群中，它
阅读全文
posted @ 2018-09-09 17:25
尹正杰
阅读(1162)
推荐(0)
摘要：
配置GitLab Push 自动触发Jenkins构建 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客是对之前的笔记：https://www.cnblogs.com/yinzhengjie/p/9607406.html 的一个改进版本，我们可以利用这两篇博客的案例，来实现
阅读全文
posted @ 2018-09-09 12:14
尹正杰
阅读(5471)
推荐(0)
摘要：
关于Jenkins部署代码权限三种方案 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.修改Jenkins进程用户为root 二.将代码目录用户改为Jenkins 上述代码摘自我之前的笔记，详情请参考：https://www.cnblogs.com/yinzhengjie/p/
阅读全文
posted @ 2018-09-08 23:14
尹正杰
阅读(2035)
推荐(0)
摘要：
Jenkins自动发布代码实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Jenkins服务器配置秘钥对并上传到Gitlab中 1>.在Jenkins后端生成秘钥对 2>.查看服务端的公钥和私钥 3>.将Jenkins服务器端的公钥上传到GitLab中 二.Jenkin
阅读全文
posted @ 2018-09-07 22:28
尹正杰
阅读(3535)
推荐(0)
摘要：
Jenkins发送邮件 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.配置并发执行任务数量 1>.点击系统管理 2>.点击系统设置 3>.修改执行者数量为：5（如果是虚拟机建议将Jenkins的服务器内存设置较大，这个执行者数量调的越大它就会越消耗系统资源），别忘记点击保存按
阅读全文
posted @ 2018-09-06 23:54
尹正杰
阅读(487)
推荐(0)
摘要：
Jenkins插件安装实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 上篇博客我介绍了Jenkins是啥，以及持续集成，持续交付，持续部署的概念，那么问题来了：你知道CI和CD是啥意思吗？（如果你不清楚我问的是啥意思，建议你看一下我之前写的笔记：https://www.cn
阅读全文
posted @ 2018-09-04 23:52
尹正杰
阅读(19035)
推荐(2)
摘要：
Jenkins部署实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.持续集成理论 1>.开发写代码的演变过程 1.1>.一个开发单打独斗，撸代码，开发网站，自由自在； 1.2>.多个开发同时开发一个网站，同时改一份代码。但是同时给一个文件会导致冲突； 1.3>.分支结构，
阅读全文
posted @ 2018-09-03 22:43
尹正杰
阅读(2031)
推荐(2)
摘要：
模拟生产环境中的代码上线实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.代码上线流程 二.开发人员做的事情 1>.模拟开发人员编写的测试代码 2>.测试代码是是否可以成功运行 3>.提交代码到GitLab 4>.进行push操作 5>.push成功界面 6>.查看Git
阅读全文
posted @ 2018-09-02 23:54
尹正杰
阅读(1187)
推荐(0)
摘要：
使用pycharm开发代码上传到GitLab和GitHub 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我这里主要是针对局域网的自减的GitLab服务器，python开发工程师如何用python相关IDE，比如pycharm链接GitLab。关于如何部署GitLab，详情请参考
阅读全文
posted @ 2018-09-01 18:47
尹正杰
阅读(32445)
推荐(4)
摘要：
私有仓库GitLab快速入门篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 安装文档请参考官网：https://about.gitlab.com/installation/#centos-7。当然根据本篇博客的步骤走也是可以成功部署GitLab的哟。 一.GitLab简介 1>
阅读全文
posted @ 2018-08-31 23:03
尹正杰
阅读(8095)
推荐(2)
浙公网安备 33010602011771号