深入Hadoop
摘要：
## 1、HDFS原理  ### 1）三大组件 NameNode、DataNode、Secondar 阅读全文
posted @ 2019-10-12 17:03 筱超超 阅读(219) 评论(0) 推荐(0)
2019年10月12日 #
初识Hadoop(2)
摘要：
Hadoop概述 yarn： ResourceManager： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源分配调度 ApplicationMaster： 程序切分 为应用程序申请资源 并分配任务 任务监控与容错 NodeManager： 单个节点上 阅读全文
posted @ 2019-10-12 17:00 筱超超 阅读(95) 评论(0) 推荐(0)
初识Hadoop
摘要：
1.Hadoop的前世今生 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2）Doung Cutting写了lucence包(生成索引+检索) 3）Nutch:网络爬虫+索引服务器（lucence封装） a.分布式存储？？ b.分布式计算？？？ 4）2002年谷歌开源 阅读全文
posted @ 2019-10-12 16:52 筱超超 阅读(127) 评论(0) 推荐(0)
初识Hadoop(1)
摘要：
1.Hadoop前世今生 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2）Doung Cutting写了lucene包（生成索引+检索） 3）Nutch：网络爬虫+索引服务器（lucene封装） 4）2002年开源GFS论文，Doung Cutting写了HDFS模块 5）2004年谷歌开 阅读全文
posted @ 2019-10-12 16:27 筱超超 阅读(131) 评论(0) 推荐(0)
2019年8月8日 #
python 03
摘要：
静态方法 如果类中需要非该类成员存在,则可以使用静态调用的方法@staticmethod 类 @classmethod:获取自身类(cls)中的属性,并且可以更改. classmethod 修饰符对应的函数不需要实例化，不需要 self 参数，但第一个参数需要是表示自身类的 cls 参数，可以来调用 阅读全文
posted @ 2019-08-08 19:10 筱超超 阅读(146) 评论(0) 推荐(0)
python 02
摘要：
""" 在Python中，属性和方法的访问权限只有两种，也就是公开的和私有的，如果希望属性是私有的，在给属性命名时可以用两个下划线作为开头。 如果非要使用私有变量,那么可以使用dir(class())去查看它真正的名字.""" @property装饰器 python是一门动态语言 动态语言允许我们在 阅读全文
posted @ 2019-08-08 16:35 筱超超 阅读(126) 评论(0) 推荐(0)
2019年8月7日 #
python 01
摘要：
类和对象 类是对象的蓝图和模板，而对象是类的实例。在面向对象编程的世界中，一切皆为对象。对象都有属性和行为，每个对象都是独一无二的，而且对象一定属于某个类。 面向对象思想有三要素：封装、继承和多态。 导入库, import 库名 for 循环,如果计数的情况则使用 开始 结束 步长 range的区间 阅读全文
posted @ 2019-08-07 17:27 筱超超 阅读(115) 评论(0) 推荐(0)
2019年8月5日 #
Linux 05
摘要：
文件相关的命令 1、创建和删除操作 Touch 修改时间戳 stat （atime mtime ctime），如果没有该文件就创建该文件 -C 没有该文件时不创建该文件 MMDDhhmm[CC]YY.ss top --> 查看进程【CPU：sy 内核空间使用率 ur 用户空间使用率】 Rm rm - 阅读全文
posted @ 2019-08-05 20:15 筱超超 阅读(105) 评论(0) 推荐(0)
2019年8月2日 #
Linux 04
摘要：
1.TCP/IP协议介绍 2.查询帮助信息 a. help 命令分类： 1、内部命令 help Command 2、外置命令 Command --help (-h) b. Man （more） man Cmmand / 向下查找指定内容 (Ubuntu) n 向下查找 N 向上查找 ? 向上查找指定 阅读全文
posted @ 2019-08-02 17:15 筱超超 阅读(73) 评论(0) 推荐(0)
2019年8月1日 #
浙公网安备 33010602011771号