大数据 - 随笔分类(第2页) - dy9776

Hadoop组件之-HDFS(HA实现细节)

摘要：NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNo 阅读全文

posted @ 2016-09-21 12:26 dy9776 阅读(2187) 评论(0) 推荐(0)

hadoop2.x NameNode 的共享存储实现

摘要：过去几年中 Hadoop 社区涌现过很多的 NameNode 共享存储方案，比如 shared NAS+NFS、BookKeeper、BackupNode 和 QJM(Quorum Journal Manager) 等等。目前社区已经把由 Clouderea 公司实现的基于 QJM 的方案合并到阅读全文

posted @ 2016-09-21 12:15 dy9776 阅读(2661) 评论(0) 推荐(1)

Hadoop-2.X HA模式下的FSImage和EditsLog合并过程

摘要：补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。一、什么是FSImage和EditsLog 我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由N 阅读全文

posted @ 2016-09-21 11:58 dy9776 阅读(3594) 评论(1) 推荐(2)

jQuery中读取json文件示例代码

摘要：json文件是一种轻量级的数据交互格式。一般在jquery中使用getJSON()方法读取，具体示例代码如下，感兴趣的朋友可以参考下哈，希望可以帮助到你 json文件是一种轻量级的数据交互格式。一般在jquery中使用getJSON()方法读取，具体示例代码如下，感兴趣的朋友可以参考下哈，希望可以帮阅读全文

posted @ 2016-09-19 21:44 dy9776 阅读(3918) 评论(0) 推荐(0)

Hadoop 2.5.2 eclipse plugin 编译 win7 集成

摘要：一.hadoop集群环境配置参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html）我是在自己的Linux上编译了一一下, centos 64位编译环境: 二.window 阅读全文

posted @ 2016-09-10 18:11 dy9776 阅读(730) 评论(0) 推荐(0)

对于spark以及hadoop的几个疑问(转)

摘要：Hadoop是啥？spark是啥？ spark能完全取代Hadoop吗？ Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)？学习Hadoop和spark，哪门语言好？哪里能找到比较全的学习资料？ 1 Hadoop是啥？spark是啥？ (1)先来了解下Hadoop历史渊源 Do 阅读全文

posted @ 2016-09-04 12:27 dy9776 阅读(1260) 评论(0) 推荐(0)

Maven构建Hadoop Maven构建Hadoop工程

摘要：一.安装maven linux eclipse3.6.1 maven安装二：官网依赖库我们可以直接去官网查找我们需要的依赖包的配置pom，然后加到项目中。官网地址：http://mvnrepository.com/ 三：Hadoop依赖我们需要哪些Hadoop的jar包？做一个简单的工程，阅读全文

posted @ 2016-08-28 20:59 dy9776 阅读(541) 评论(0) 推荐(0)

杂记

摘要：阅读全文

posted @ 2016-08-28 00:31 dy9776 阅读(103) 评论(0) 推荐(0)

处理分页操作

摘要：1、mysql MySQL: 如何选取Table中的50到100行使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，MySql已经为我们提供了这样一个功能。 SELECT * FROM table LIMIT [offset,] rows | rows OFFS 阅读全文

posted @ 2016-08-25 15:27 dy9776 阅读(147) 评论(0) 推荐(0)

HBase参数配置及说明（转）

摘要：版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置 <property> <name>hbase.tmp.dir</name 阅读全文

posted @ 2016-08-24 14:24 dy9776 阅读(434) 评论(0) 推荐(0)

Hadoop CDH5 集群管理

摘要：Hadoop 是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH（Cloudera Distribution Hadoop），它最主要的作用是管理、监控、诊断、集成。这个很像咱们日常安装软件一阅读全文

posted @ 2016-08-21 16:57 dy9776 阅读(483) 评论(0) 推荐(0)

安装mysql后ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var mysql 启动不了

摘要：ps -A | grep -i mysql kill 列出来的进程 service mysql start 我的问题就解决了 Fedora8启动mysql 报错：ERROR 2002 (HY000): Can’t connect to local MySQL server through socke 阅读全文

posted @ 2016-07-30 21:05 dy9776 阅读(1489) 评论(0) 推荐(0)

Hive介绍、安装（转）

摘要：1、Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点： l 优点： 1.Hive 使用类SQL 查询阅读全文

posted @ 2016-07-30 20:17 dy9776 阅读(571) 评论(0) 推荐(0)

Hadoop家族路线图（转）

摘要：主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, 阅读全文

posted @ 2016-07-30 19:19 dy9776 阅读(386) 评论(0) 推荐(0)

Hive学习路线图(转)

摘要：Hadoophivehqlroadmap学习路线图 1 Comment Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chu 阅读全文

posted @ 2016-07-30 19:10 dy9776 阅读(354) 评论(0) 推荐(0)

maven入门基础（转）

摘要：maven介绍 maven介绍 maven是构建工具，也是构建管理工具。ant只是构建工具，因为不支持生成站点功能，只有预处理，编译，打包，测试，部署等功能。 maven坐标 maven坐标 groupId：项目组织的逆向域名，比如Apache的项目可以org.apache开头 artfactId：阅读全文

posted @ 2016-07-26 20:32 dy9776 阅读(207) 评论(0) 推荐(0)

hadoop namenode ha--手动切换(转）

摘要：1.hadoop的dfs.nameservices如何配置？2.集群配置中hdfs://mycluster的作用是什么？3.如何将namenode2切换为active状态？在参考本手册前请确保Hadoop中HDFS组件已经成功部署并正常运行，同时系统基本环境完备，包括ssh免密码登录、/etc/ho 阅读全文

posted @ 2016-07-26 16:20 dy9776 阅读(5827) 评论(0) 推荐(0)

hadoop 2.5 hdfs namenode –format 出错Usage: java NameNode [-backup] |

摘要：在 cd /home/hadoop/hadoop-2.5.2/bin 下执行的./hdfs namenode -format 报错[hadoop@node1 bin]$ ./hdfs namenode –format 16/07/11 09:21:21 INFO namenode.NameNode 阅读全文

posted @ 2016-07-23 19:07 dy9776 阅读(1397) 评论(1) 推荐(1)

自己动手编译hadoop-2.5.2源码

摘要：搭建环境:Centos x 6.5 64bit (后来：我才知道原来官网上发布的就是64位的，不过这个对我来说是个学习过程，对以后进行其他平台编译的时候有帮助！) 搭建环境:Centos x 6.5 64bit (后来：我才知道原来官网上发布的就是64位的，不过这个对我来说是个学习过程，对以后进行其阅读全文

posted @ 2016-07-22 11:05 dy9776 阅读(1016) 评论(0) 推荐(0)

Hadoop 1.1.2 eclipse plugin 编译 win7 集成

摘要：Windows平台上使用ANT编译Hadoop Eclipse Plugin Windows平台上使用ANT编译Hadoop Eclipse Plugin 一、准备工作： 1、安装JDK 下载页面：http://www.oracle.com/technetwork/java/javase/downl 阅读全文

posted @ 2016-07-19 21:49 dy9776 阅读(284) 评论(0) 推荐(0)

dy9776

随笔分类 - 大数据

公告