摘要：Spark Streaming 进阶与案例实战 1.带状态的算子: UpdateStateByKey 2.实战：计算到目前位置累积出现的单词个数写入到MySql中 1.create table sql CREATE TABLE ( VARCHAR(50) NOT NULL, INT(11) NOT 阅读全文

摘要：Spark Streaming核心概念与编程 1. 核心概念 StreamingContext Create StreamingContext StreamingContext的构造函数 batch interval 可以根据你的应用程序需求的延迟要求以及集群可用的资源状况来设置 创建Streami 阅读全文

摘要：分布式日志收集框架Flume 1.业务现状分析 WebServer/ApplicationServer分散在各个机器上 想在大数据平台Hadoop进行统计分析 日志如何收集到Hadoop平台上 解决方案及存在的问题 如何解决我们的数据从其他的server上移动到Hadoop之上？ 1. shell: 阅读全文

摘要：1. Spark Streaming入门 1. 概述 Spark Streaming is an extension of the core Spark API that enables scalable(Spark Streaming是基于Spark Core的扩展) high throughpu 阅读全文

摘要：1.环境准备 2.安装Hadoop 1.解压移动 2.配置Hadoop JAVA_HOME 3.配置Hadoop环境变量 4.修改etc/hadoop/core-site.xml 5.修改etc/hadoop/hdfs-site.xml 6.检测localhost是否可以免密登录 7.格式化Name 阅读全文