~风轻云淡~ - 博客园

2015年11月19日

摘要：原文链接：Ubuntu12.04挂载exFat格式U盘的方法首先关于exFAT ，这里就不多作解释了，再介绍一个软件fuse-exfat，https://code.google.com/p/exfat/fuse是指用户空间文件系统，而这个软件，顾名思义，就是为了让linux用户可以读写exFAT格式... 阅读全文

posted @ 2015-11-19 09:57 ~风轻云淡~ 阅读(2078) 评论(0) 推荐(0)

2015年11月18日

MANIFEST.MF文件Class-Path:节点需要引入的jar太多解决方案

摘要：每行开头结尾都要有一个空格（半角的）例子如下：1 Manifest-Version: 1.02 Class-Path: lib/mongo-java-driver-2.11.4.jar 3 lib/guava-11.0.2.jar 4 lib/spark-examples-1.5.2-hadoo... 阅读全文

posted @ 2015-11-18 22:10 ~风轻云淡~ 阅读(5577) 评论(0) 推荐(0)

错误Name node is in safe mode的解决方法（转）

摘要：原文链接：错误Name node is in safe mode的解决方法将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许... 阅读全文

posted @ 2015-11-18 22:04 ~风轻云淡~ 阅读(924) 评论(0) 推荐(0)

2015年11月16日

Kafka实战－Flume到Kafka （转）

摘要：原文链接：Kafka实战－Flume到Kafka1.概述前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览下面开始今天的分享内容。2.数据来源 Kafka生产的数据... 阅读全文

posted @ 2015-11-16 17:03 ~风轻云淡~ 阅读(4412) 评论(0) 推荐(0)

flume和kafka整合（转）

摘要：原文链接：Kafka flume 整合前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的都放到flume的... 阅读全文

posted @ 2015-11-16 14:06 ~风轻云淡~ 阅读(1432) 评论(0) 推荐(0)

Flume目录

摘要： 1. Flume的安装配置2. flume和kafka整合（转）3.Flume NG 配置详解（转）4. Flume-NG一些注意事项（转）5. FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解6. 应用Flume+HBase采集和存储日志数据阅读全文

posted @ 2015-11-16 14:05 ~风轻云淡~ 阅读(194) 评论(0) 推荐(0)

Flume的安装配置

摘要： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。一、什么是Flume? flume 作为 cloudera 开发的实时... 阅读全文

posted @ 2015-11-16 14:04 ~风轻云淡~ 阅读(565) 评论(0) 推荐(0)

2015年11月15日

HBase系统架构及数据结构（转）

摘要：原文链接：Hbase系统架构及数据结构HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosys... 阅读全文

posted @ 2015-11-15 19:57 ~风轻云淡~ 阅读(1977) 评论(0) 推荐(0)

Spark Streaming：大规模流式数据处理的新贵（转）

摘要：原文链接：Spark Streaming：大规模流式数据处理的新贵摘要：Spark Streaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案。... 阅读全文

posted @ 2015-11-15 14:03 ~风轻云淡~ 阅读(534) 评论(0) 推荐(0)

2015年11月13日

Spark源码分析：多种部署方式之间的区别与联系（转）

摘要：原文链接：Spark源码分析：多种部署方式之间的区别与联系(1)从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。从代码中，我们可以得知其实... 阅读全文

posted @ 2015-11-13 20:19 ~风轻云淡~ 阅读(2164) 评论(0) 推荐(0)

公告