12 2019 档案

关于MapReduce的理解
摘要：其实我们可以从word count这个实例来理解MapReduce。 MapReduce大体上分为六个步骤： input, split, map, shuffle, reduce, output。 细节描述如下： 输入(input)：如给定一个文档， 包含如下四行： Hello Java Hello 阅读全文
posted @ 2019-12-26 15:24 jimshi 阅读(797) 评论(0) 推荐(0)
Spark和Hadoop的区别和比较
摘要：一、 两者的各方面比较 二、Spark相对Hadoop的优越性 三、三大分布式计算系统 Spark，是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎 Hadoop，是分布式管理、存储、计算的生态系统；包括HDFS（存储）、MapReduce（计算） 阅读全文
posted @ 2019-12-26 14:40 jimshi 阅读(5172) 评论(0) 推荐(0)
用通俗易懂的大白话讲解MapReduce原理
摘要：Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.这 阅读全文
posted @ 2019-12-26 13:55 jimshi 阅读(8233) 评论(0) 推荐(0)
YARN资源管理器(Resource Manager、Node Manager、Application Master 、Container)
摘要：HADOOP 1.0存在的问题HDFS1.0存在的问题： Namenode单点故障：集群的文件都是以“块(block)”的形式存储，并且为了容错，每个block有多个副本。namenode需要记录整个集群所有block及其副本的元数据信息（fsimage：文件目录结构，block和文件的映射关系等） 阅读全文
posted @ 2019-12-26 13:40 jimshi 阅读(1192) 评论(0) 推荐(0)
MapReduce介绍
摘要：场景：比如有海量的文本文件，如订单，页面点击事件的记录，量特别大，单机版很难搞定。 怎样解决海量数据的计算？ 求和： 1 + 5 +7 + 3 +4 +9 +3 + 5 +6 MapReduce产生背景如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这 阅读全文
posted @ 2019-12-26 09:58 jimshi 阅读(218) 评论(0) 推荐(0)
ssl协议 wireshark抓包分析
摘要：HTTPS协议详解(一)：HTTPS基础知识 HTTPS协议详解(二)：TLS/SSL工作原理HTTPS协议详解(三)：PKI 体系HTTPS协议详解(四)：TLS/SSL握手过程HTTPS协议详解(五)：HTTPS性能与优化 1、握手与密钥协商过程 基于RSA握手和密钥交换的客户端验证服务器为示例 阅读全文
posted @ 2019-12-09 16:51 jimshi 阅读(3753) 评论(0) 推荐(0)
使用wireshark分析https
摘要：从上文中分析了http的抓包使用wireshark分析http，接下来想继续分析https于是搭建了https的环境。现在开始使用wireshark抓包软件分析https。 https交互的大致步骤 密码学算法 要了解https首先要稍微了解算法学的知识，在这里主要是RSA算法和DES算法，作为工科 阅读全文
posted @ 2019-12-09 16:48 jimshi 阅读(7334) 评论(0) 推荐(0)
Https详解+wireshark抓包演示
摘要：https://www.jianshu.com/p/a3a25c6627ee Https理论 在说HTTPS之前先说说什么是HTTP，HTTP就是我们平时浏览网页时候使用的一种协议。HTTP协议传输的数据都是未加密的，也就是明文的，因此使用HTTP协议传输隐私信息非常不安全。为了保证这些隐私数据能加 阅读全文
posted @ 2019-12-09 16:46 jimshi 阅读(7623) 评论(0) 推荐(1)
HTTPS 原理分析—带着疑问层层深入
摘要：程序员界的彭于晏 2019-12-03 11:37:00 https://www.toutiao.com/i6765851759643460108/ HTTPS 随着 HTTPS 建站的成本下降，现在大部分的网站都已经开始用上 HTTPS 协议。大家都知道 HTTPS 比 HTTP 安全，也听说过与 阅读全文
posted @ 2019-12-09 14:11 jimshi 阅读(142) 评论(0) 推荐(0)
以卡通的方式了解Kubernetes
摘要：https://www.toutiao.com/i6767736926930731523/ 闻数起舞 2019-12-08 00:36:06 最近，我开始了Kubernetes之旅，希望更好地了解其内部。 我在这些方面做了一个演讲。 容器 在我们尝试了解Kubernetes之前，让我们花一点时间来澄 阅读全文
posted @ 2019-12-09 14:00 jimshi 阅读(282) 评论(0) 推荐(0)
关于https原理思考和charls抓包https原理
摘要：看见同事在使用charls抓取https的数据，我心中起了疑惑，https不是加密的吗？为什么能被charls轻易抓包并获取明文数据呢？于是我开始研究https的原理和charls能够成功破获明文的原理。 1、https原理 废话少说，忽略探索过程（其实主要是看别人的文章），下面简要阐述我的理解。 阅读全文
posted @ 2019-12-06 09:30 jimshi 阅读(591) 评论(0) 推荐(0)