摘要：摘要：Tomcat服务器是一个免费的开放源代码的Web应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。由于Tomcat使用Java语言开发，所以Tomcat运行环境需要用到Java环境的支持，这里用的是jdk1.8版本，因为1. 阅读全文
Flume入门
2019-01-27 21:31 by 牛仔裤的夏天, 291 阅读, 0 推荐, 收藏, 编辑
摘要：前言：最近有些浮躁，大环境变化无常，这种情况下唯有学习才是王道，好吧，开始学习flume！ 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG（original generation） 阅读全文
SparkStreaming 编程指南
2018-12-22 15:25 by 牛仔裤的夏天, 608 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：学习SparkStreaming从官网的编程指南开始，由于Python编码修改方便不用打包，这里只整理python代码！ 一、概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理。数据可以通过多种数据源获取, 例如 阅读全文
Kafka单机配置部署
2018-04-01 17:51 by 牛仔裤的夏天, 5491 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：上节 学习了Kafka的理论知识，这里安装单机版以便后续的测试。 首先安装jdk 一、单机部署zk 1.1安装： tar -zxf zookeeper-3.4.10.tar.gz -C /opt/ 1.2配置： 在主目录下创建data用于存储数据： cd /opt/zookeeper-3.4. 阅读全文
Kafka介绍 (官方文档翻译)
2018-03-31 20:28 by 牛仔裤的夏天, 595 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于 阅读全文
spark调优
2018-02-22 18:06 by 牛仔裤的夏天, 1146 阅读, 1 推荐, 收藏, 编辑
摘要：摘要：鉴于 Spark 基于内存计算这一天性，以下集群资源可能会造成 Spark 程序的瓶颈：CPU，带宽和内存。通常情况下，如果内存足够的情况下，瓶颈就是网络带宽，但有时，你也需要做一些优化，例如以序列化的格式存储RDD，来减少内存使用。本指南将涵盖两个主要主题：数据序列化(这对于良好的网络性能至 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (四)
2018-01-31 17:49 by 牛仔裤的夏天, 15962 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (三)
2017-12-01 14:35 by 牛仔裤的夏天, 13640 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
git基本常用命令总结
2017-11-21 16:19 by 牛仔裤的夏天, 590 阅读, 0 推荐, 收藏, 编辑
摘要：官网：https://git-scm.com/book/zh/v1/Git-%E5%9F%BA%E7%A1%80-%E5%8F%96%E5%BE%97%E9%A1%B9%E7%9B%AE%E7%9A%84-Git-%E4%BB%93%E5%BA%93 1.Git 基础 - 取得项目的 Git 仓库: 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (二)
2017-11-04 22:13 by 牛仔裤的夏天, 13328 阅读, 2 推荐, 收藏, 编辑
摘要：摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文