2019年8月6日
scala（02）
摘要： 函数得定义 val funtionName=(param:ParamType...)=>{} 这种定义方式没有返回值类型，会自己进行适配 函数在scala中可以任务是一个可以使用得值 函数在放置得时候会显示签名信息，描述当前函数得一个描述信息文件 eg:在scala中存在三种类型 class类 ob 阅读全文
posted @ 2019-08-06 14:53 鹦鹉英冠 阅读(152) 评论(0) 推荐(0)
scala小知识点
摘要： 函数function 0-22 元组tuple 不可变的总共存在Tuple1-22 22个元组取值的时候按照元素的名称取值_1到_N两个元素的元组就是对偶元组 zipWithIndex与下标进行拉链Array是长度不可变，但是元素可变ArrayBuffer长度和元素都可以变化import scala 阅读全文
posted @ 2019-08-06 14:52 鹦鹉英冠 阅读(96) 评论(0) 推荐(0)
Scala常用方法
摘要： 1.flatten可以把嵌套的结构展开. scala> List(List(1,2),List(3,4)).flattenres0: List[Int] = List(1, 2, 3, 4)2、flatmapflatMap结合了map和flatten的功能。接收一个可以处理嵌套列表的函数，然后把返回 阅读全文
posted @ 2019-08-06 14:30 鹦鹉英冠 阅读(526) 评论(0) 推荐(0)
2019年7月15日
spark APP升级
摘要： 2017-08-14,涛哥,共享女友,360应用,v1.02017-08-14,涛哥,共享女友,360应用,v1.22017-08-14,涛哥,共享女友,360应用,v1.32017-09-14,涛哥,同城交友,360应用,v1.02017-09-14,涛哥,同城交友,360应用,v1.02017- 阅读全文
posted @ 2019-07-15 15:32 鹦鹉英冠 阅读(202) 评论(0) 推荐(0)
2019年6月6日
6.6项目流程讲解 JsSDK文档
摘要： 一、概述 该文档的主要作用是为了开发人员参考可以参考本文档，了解js sdk的集成方式以及提供的各种不同的api。 注意：不采用ip来标示用户的唯一性，我们通过在cookie中填充一个uuid来标示用户的唯一性。 一、分析 1、PC端事件分析 最终分析模块 PC端js sdk事件 用户基本信息分析 阅读全文
posted @ 2019-06-06 08:51 鹦鹉英冠 阅读(370) 评论(0) 推荐(0)
2019年5月14日
Flume案例（3）
摘要： 1) Spool Spool监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点： ² 拷贝到spool目录下的文件不可以再打开编辑。 ² spool目录下不可包含相应的子目录 创建agent配置文件 缺点：指定文件下不能有重名(如：kk.log 和 kk.log. COMPLETED 阅读全文
posted @ 2019-05-14 15:29 鹦鹉英冠 阅读(111) 评论(0) 推荐(0)
Flume案例（2）
摘要： 1) Exec 创建agent配置文件 # > vi /home/bigdata/flume/conf/exec_tail.conf 添加以下内容： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the sou 阅读全文
posted @ 2019-05-14 15:27 鹦鹉英冠 阅读(113) 评论(0) 推荐(0)
Flume案例
摘要： 1) Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 创建agent配置文件 # > vi /home/bigdata/flume/conf/avro.conf 编辑avro1.conf a1.sources=r1a1.channels=c1a1.sin 阅读全文
posted @ 2019-05-14 14:59 鹦鹉英冠 阅读(160) 评论(0) 推荐(0)
2019年5月8日
推荐算法
摘要： package com.bw.mr;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net 阅读全文
posted @ 2019-05-08 10:23 鹦鹉英冠 阅读(145) 评论(0) 推荐(0)
Hive安装
摘要： 1.hive的安装解压就完事了配置/etc/profile环境变量启动hdfs启动hivecp $HIVE_HOME/lib/jline.xxxxx $HADOOP_HOME/share/hadoop/yarn/lib2.show databases;查看数据库3.show tables;4.cre 阅读全文
posted @ 2019-05-08 10:19 鹦鹉英冠 阅读(153) 评论(0) 推荐(0)