小强哥in

摘要： 一 正则表达式 [a-z]：匹配任意一个小写字母(a～z 之间的)，如“a”、“c”、“e”等。 [aeiou]：匹配任意一个元音字母。 [a-zA-Z]：匹配任意一个大写或小写字母。 [^a-z]：匹配任何不在 a～z 之间的字符。 [a-zA-Z]*：匹配由任意大小写字母构成的字符串，也可以是空 阅读全文

摘要： 1.今日收获内容 re.compile 函数 compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。 语法格式为： re.compile(pattern[, flags]) >>>import re >>> p 阅读全文

摘要： Hive 数据仓库工具 将结构化数据映射为一张数据库表,常用MySQL存储 提供类sql语句查询功能,在驱动中可进行类sql语句向mapreduce作业的翻译,优化和执行 学习成本低,适合进行数据的统计分析 实际数据存储在HDFS上,mysql中存储一张映射表用于实现查询功能 mapreduce的主 阅读全文

摘要： Hadoop Distributed File System 分布式文件系统优点 高可用, 快速自动恢复发生错误的节点, 保证数据拷贝设定的副本数量 高吞吐, 流式访问数据集,批处理而非交互, 延迟高 数据块存储, 默认128M/块,可修改 数据一致性, 一写多读,可追加不可修改 移动计算比移动数据 阅读全文

摘要： 开源的分布式系统基础架构优点 对大量数据进行分布式处理 可靠, 假设硬件失效为常态, 针对失败节点进行重新分布处理 高效, 并行处理提高处理速度 可伸缩, 在横向扩展至上千个节点, 可处理PB级数据 低成本, 项目开源,与同类产品比较成本低廉 相关组件包括 HDFS MapReduce Yarn H 阅读全文

摘要： Request： 1. request对象和response对象的原理 1. request和response对象是由服务器创建的。我们来使用它们 2. request对象是来获取请求消息，response对象是来设置响应消息 2. request对象继承体系结构： ServletRequest - 阅读全文

摘要： HDFS集群有两种节点，以管理者-工作者的模式运行，即一个名称节点（NameNode，管理者）和多个数据节点（DataNode，工作者）。名称节点管理文件系统的命名空间。它维护着这个文件系统树及这个树内所有的文件和索引目录。这些信息以两种形式将文件永久保存在本地磁盘上：命名空间镜像和编辑日志。名称节 阅读全文

摘要： 1.今日收获内容 re.finditer 和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。 re.finditer(pattern, string, flags=0) import re it = re.finditer(r"\d+","12a32bc 阅读全文

摘要： 1、大数据概念：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯 2、大数据特点： 大量 高速 多样性 低价值密度：要求对低价值密度的数据具有较好的提取能力 3、大数据应用： 阅读全文

摘要： 学习新手学习Hadoop的步骤技巧，并制定学习计划 第一步：所需专业知识 Linux操作系统 Java语言 SQL知识 第二步：识别Hadoop组件 第三步：寻找新手学习Hadoop的课程 阅读全文