01 2019 档案

Flume整合Kafka完成实时数据采集
摘要：agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景，agent1 为A机器，agent2 为B机器。 avro source: 监听avro端口， 阅读全文
posted @ 2019-01-27 12:24 夏延 阅读(6768) 评论(0) 推荐(0)
Kafka 单节点部署
摘要：三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。 Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topi 阅读全文
posted @ 2019-01-27 10:38 夏延 阅读(6518) 评论(0) 推荐(1)
Spark Streaming——Flume实例
摘要：Flume 官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 此文章共有三个实例： crtl+c后停止flume 实例一直接监控端口 配置文件 # Name the components on this agen 阅读全文
posted @ 2019-01-26 10:40 夏延 阅读(289) 评论(0) 推荐(0)
Spark实战——日志分析
摘要：1-1 -用户行为日志概述 为什么要记录用户访问行为日志？ 网站页面的访问量 网站的粘性 推荐 用户行为日志 Nginx ajax 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击...) 用户行为轨迹、流量日志 日志数据内容 1）访问的系统属性:操作系统，浏览器等等 2）访问 阅读全文
posted @ 2019-01-25 15:05 夏延 阅读(1958) 评论(0) 推荐(0)
SparkSQL——DataFrame API基本操作
摘要：package com.spark import org.apache.spark.sql.SparkSession /** * DataFrame API基本操作 */ object DataFrameAPP1 { def main(args: Array[String]): Unit = { val path="E:\\data\\infos.txt" ... 阅读全文
posted @ 2019-01-25 10:04 夏延 阅读(264) 评论(0) 推荐(0)
SparkSQL——Parquet文件操作
摘要：实例代码 阅读全文
posted @ 2019-01-25 10:03 夏延 阅读(831) 评论(0) 推荐(0)
SparkSQL——使用外部数据源综合查询Hive mysql数据
摘要：实例代码 阅读全文
posted @ 2019-01-25 10:02 夏延 阅读(216) 评论(0) 推荐(0)
Spark——DataFrame与RDD互操作方式
摘要：一.引言 Spark SQL支持两种不同的方法将现有RDD转换为数据集。 1.第一种方法使用反射来推断包含特定类型对象的RDD的模式。这种基于反射的方法可以使代码更简洁，并且在编写Spark应用程序时已经了解了模式，因此可以很好地工作。详细资料参考 DataFrame与RDD互操作之反射 在开始之前 阅读全文
posted @ 2019-01-24 19:08 夏延 阅读(352) 评论(0) 推荐(0)
SparkSQL——SparkSession的使用
摘要：在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用StreamingContext；对于sql，使用 阅读全文
posted @ 2019-01-24 07:20 夏延 阅读(1567) 评论(0) 推荐(0)
SparkSQL——通过JDBC的方式访问
摘要：1.前提 首先是hadoop的两个服务要开启 然后是hive 的metastore 然后启动spark-shell，如果没有启动hive的metastore，则会在这一步报错，说找不到hive的9083端口。至于启动spark-shell，则是为了看4040端口上的JDBS/ODBC服务 然后启动h 阅读全文
posted @ 2019-01-24 00:01 夏延 阅读(708) 评论(0) 推荐(0)
SparkSQL——HiveContext的使用
摘要：HiveContext的使用 HiveContext也是已经过时的不推荐使用。 如果想要用spark访问hive的表需要进行一下的配置 1. 拷贝 ${HIVE_HOME}/conf/hive-site.xml到 ${SPARK_HOME}/conf中 2. 在pom.xml文件中添加一下依赖 阅读全文
posted @ 2019-01-23 16:55 夏延 阅读(5757) 评论(0) 推荐(0)
SparkSQL——SQLContext的使用
摘要：SQLContext的使用 SQLContext在Spark1.6中使用，在spark2.x中已经标记为过时，不推荐使用。 阅读全文
posted @ 2019-01-23 08:53 夏延 阅读(1394) 评论(0) 推荐(0)
语义分析
摘要：【设计思想】 （1）输入待分析的字符串。 语法如下： a.关键字：begin,if,then,while,do,end. b.运算符和界符：:= + - * / >= = ; ( ) # c.其他单词是标识符(ID)和整形常数(NUM)：ID=letter(letter|digit)*，NUM=digitdigit* d.空格由空白、制表符和换行符组成。空格一般用来分隔ID、N... 阅读全文
posted @ 2019-01-22 17:35 夏延 阅读(860) 评论(0) 推荐(0)
SLR(1)分析法分析过程
摘要：对下列文法，用SLR（1）分析法对任意输入的符号串进行分析： (1)S->E (2)E->E+T (3)E->T (4)T->T*F (5)T->F (6)F->(E) (7)F->i 【设计思想】 (1)总控程序，也可以称为驱动程序。对所有的LR分析器总控程序都是相同的。 (2)分析表或分析函数，不同的文法分析表将不同，同一个文法采用的LR分析器不同时，分析表将不同，分析表又可以分为动... 阅读全文
posted @ 2019-01-22 17:33 夏延 阅读(4889) 评论(0) 推荐(0)
算符优先分析法
摘要：（1）输入一个文法根据算符优先分析法，将表达式进行语法分析，判断一个表达式是否为算符优先文法 (2)输入一个句子进行分析 1、根据文法求FIRSTVT集和LASTVT集 给定一个上下文无关文法，根据算法设计一个程序，求文法中每个非终结符的FirstVT 集和LastVT 集。 可参考算法描述如下： /*求 FirstVT 集的算法*/ PROCEDURE insert(P... 阅读全文
posted @ 2019-01-22 17:31 夏延 阅读(2238) 评论(0) 推荐(0)
LL（1）语法分析
摘要：根据某一文法编制调试 LL （ 1 ）分析程序，以便对任意输入的符号串进行分析。 构造预测分析表，并利用分析表和一个栈来实现对上述程序设计语言的分析程序。 分析法的功能是利用LL（1）控制程序根据显示栈顶内容、向前看符号以及LL（1）分析表，对输入符号串自上而下的分析过程。 【设计思想】 （1）定义部分：定义常量、变量、数据结构。 （2）初始化：设立LL(1)分析表、初始化变量空间（包括堆栈、结... 阅读全文
posted @ 2019-01-22 17:30 夏延 阅读(7536) 评论(0) 推荐(3)
递归下降分析分析法
摘要：用递归下降法编写一个语法分析程序，使之与词法分析器结合，能够根据语言的上下文无关文法，识别输入的单词序列是否文法的句子。 对下列文法，用递归下降分析法对任意输入的符号串进行分析： E->TG G->+TG|-TG G->ε T->FS S->*FS|/FS S->ε F->(E) F->i 源程序 #include #include us... 阅读全文
posted @ 2019-01-22 17:28 夏延 阅读(4499) 评论(0) 推荐(1)
MapReduce 社交好友推荐算法
摘要：原理 如果A和B具有好友关系，B和C具有好友关系，而A和C却不是好友关系，那么我们称A和C这样的关系为：二度好友关系。 在生活中，二度好友推荐的运用非常广泛，比如某些主流社交产品中都会有"可能认识的人"这样的功能，一般来说可能认识的人就是通过二度好友关系搜索得到的，在传统的关系型数据库中，可以通过图的广度优先遍历算法实现，而且深度限定为2，然而在海量的数据中，这样的遍历成本太大，所以... 阅读全文
posted @ 2019-01-22 17:19 夏延 阅读(3179) 评论(0) 推荐(0)
lex词法分析
摘要：拷贝一个C文件，将其中的关键字int替换成float。 源程序 %{ #include "stdio.h" int linenum; %} %% \".*\" {printf("%s",yytext);} [^ \t\n]+{printf("%s",yytext);} int/[ \t]+ {pri 阅读全文
posted @ 2019-01-03 17:27 夏延 阅读(784) 评论(0) 推荐(0)
根据状态转换图手工构造词法分析程序
摘要：编制一个读单词过程，源程序为一个文件，读取该文件，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、界符五大类。并依次输出各个单词的内部编码及单词符号自身值。 单词的内部编码如下： 1、保留字：if、int、for、while、do、return、break、continue；单词种 阅读全文
posted @ 2019-01-01 17:24 夏延 阅读(2040) 评论(0) 推荐(0)