Frankdeng

摘要： 一、YARN 概述 YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 阅读全文

摘要： 一 MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 阅读全文

摘要： NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HDFS 工作原理的 理解，及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景 1、Namenode 服务器的磁盘故障导致 namenode 宕机，如何挽救集 阅读全文

摘要： Sublime text 3 破解版是一款极其强大的代码编辑器，又是一款可以代替记事本的文本编辑器。Sublime text 3拥有着美观的界面和实用的功能，既能够完成代码的编辑又能够完成文本编辑，还有智能的拼音检查以及记忆书签，还有什么 Python API ， Goto 功能等等。支持多窗口，多 阅读全文

摘要： 一、概述 官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1　Avro Source 2.1.1　介绍 监听Avro端口，从Avro client streams接收event 阅读全文

摘要： 一 HDFS客户端环境准备 1.1 jar包准备 1）解压hadoop-2.7.6.tar.gz到非中文目录 2）进入share文件夹，查找所有jar包，并把jar包拷贝到_lib文件夹下 3）在全部jar包中查找sources.jar，并剪切到_source文件夹。 4）在全部jar包中查找tes 阅读全文

摘要： 一、背景 Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步. 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需 阅读全文

摘要： 索引类似大学图书馆建书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。MySQL提供了Explain，用于显示SQL执行的详细信息，可以进行索引的优化。 一、导致SQL执行慢 阅读全文

摘要： 一 下载 下载地址：https://www.mysql.com/downloads/ 1 点击第一个链接地址，进入MySQL官方网站，单击“Downloads”下载Tab页，进入下载界面 一 下载 下载地址：https://www.mysql.com/downloads/ 1 点击第一个链接地址，进 阅读全文

摘要： 一 HDFS概述 1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS概念 HDFS 阅读全文