摘要：
hadoop原理分析：强烈推荐阅读：https://www.saoniuhuo.com/article/detail-1124.html hadoop集群 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 阅读全文
posted @ 2022-02-23 17:55
linhaifeng
阅读(368)
评论(0)
推荐(0)
摘要：
一、准备 1.1 软件版本 Ubuntu 16.04.6 (ubuntu-16.04.6-server-amd64.iso) JDK 1.8 (jdk-8u201-linux-x64.tar.gz) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 2.1.0 (sp 阅读全文
posted @ 2022-02-22 16:41
linhaifeng
阅读(628)
评论(2)
推荐(0)
摘要：
一 Spark与hadoop Hadoop有两个核心模块，分布式存储模块HDFS和分布式计算模块Mapreduce Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。 阅读全文
posted @ 2022-02-21 15:38
linhaifeng
阅读(1466)
评论(0)
推荐(0)
摘要：
一 前言 大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组 阅读全文
posted @ 2022-02-21 15:32
linhaifeng
阅读(505)
评论(0)
推荐(0)
摘要：
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相 阅读全文
posted @ 2022-02-17 18:19
linhaifeng
阅读(720)
评论(0)
推荐(0)
摘要：
go语言垃圾回收总体采用的是经典的mark and sweep算法。 1.3版本以前(STW) golang的垃圾回收算法都非常简陋，然后其性能也广被诟病：go runtime在一定条件下（内存超过阈值或定期如2min），暂停所有任务的执行，进行mark&sweep操作，操作完成后启动所有任务的执行 阅读全文
posted @ 2022-01-27 11:25
linhaifeng
阅读(802)
评论(0)
推荐(0)
摘要：
背景 该问题来自于在给客户部署 MySQL 前进行服务器环境配置时，涉及到服务器配置项关闭 numa，客户对此配置项的必要性产生了疑虑。针对这一疑虑，进行了以下关于 numa 的研究。 一、NUMA 简介 NUMA（Non-Uniform Memory Access，非一致性内存访问） NUMA 服 阅读全文
posted @ 2022-01-19 16:09
linhaifeng
阅读(713)
评论(0)
推荐(0)
摘要：
林海峰，英文名egon，技术资料与交流群请加唯一v信 微信号tutu19192010，二维码如下 练习册大纲例图 阅读全文
posted @ 2021-10-31 14:51
linhaifeng
阅读(3575)
评论(0)
推荐(1)
摘要：
视频讲解了pycharm2019 3.5版破解视频，比网上一堆乱七八糟的博客好用多了 https://www.bilibili.com/video/BV1Xz4y1Q7bZ?p=14 阅读全文
posted @ 2020-06-23 15:59
linhaifeng
阅读(3337)
评论(3)
推荐(3)
浙公网安备 33010602011771号