pursue330

2019年3月28日

摘要： package common;import java.io.*;import java.math.BigDecimal;import java.util.ArrayList;import java.util.List;import entity.Commodity;public class Comm 阅读全文

posted @ 2019-03-28 09:28 pursue330 阅读(323) 评论(0) 推荐(0)

mybatis所需pom文件内容以及配置文件

摘要：官方网站http://www.mybatis.org/mybatis-3/zh/index.htmlpom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns: 阅读全文

posted @ 2019-03-28 09:13 pursue330 阅读(12545) 评论(1) 推荐(0)

2019年3月27日

个人写spark小测试

摘要：写脚本生成类似文件 java 代码封装类 1.pv pageview 得出每个网站总的访问量2.uv unique vistor 得出每个网站不同ip的访问量3.每个网址访问量top3地区和对应的人数 www.baidu.com 北京 2000 河北 1800 辽宁 1000 www.taob 阅读全文

posted @ 2019-03-27 21:38 pursue330 阅读(798) 评论(0) 推荐(0)

spark介绍2

摘要：上述结果是 map 1 filter 1 map 2 filter 2 map 3 filter 3 map 4 filter 4 即说明是并行，且互不干扰，每个task运行到最后阅读全文

posted @ 2019-03-27 09:07 pursue330 阅读(121) 评论(0) 推荐(0)

2019年3月25日

RDD介绍与执行

摘要： repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） coalesce coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。 true为产生shuffle，false不产生shuffle。默认是false。如果阅读全文

posted @ 2019-03-25 20:52 pursue330 阅读(358) 评论(0) 推荐(0)

spark（oom内存溢出异常（out of memory））介绍1

摘要：建立如图maven工程 maven的pom文件内容参考别的随笔参考pom文件内容同时记得添加scala oom内存溢出异常（out of memory）阅读全文

posted @ 2019-03-25 19:39 pursue330 阅读(1441) 评论(0) 推荐(0)

spark安装配置（scala不是必须的，基于java虚拟机，因此scala可以不配，但是开发需要可以配）

摘要：下载 http://spark.apache.org/downloads.html 下载2.3.1 https://blog.csdn.net/qq_15349687/article/details/82748074（齐全）配置文件 https://www.cnblogs.com/purstar/ 阅读全文

posted @ 2019-03-25 19:15 pursue330 阅读(3411) 评论(0) 推荐(1)

sqpark编译时maven的pom文件内容（org.apachetype.maven.apachetypes:maven.archetypequickstat）

摘要： <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch 阅读全文

posted @ 2019-03-25 14:05 pursue330 阅读(320) 评论(0) 推荐(0)

2019年3月23日

zookeeper介绍

摘要： zookeeper介绍连接 https://blog.csdn.net/apriaaaa/article/details/79697466 https://blog.csdn.net/duke370503/article/details/52623192 面试题连接 https://www.cnbl 阅读全文

posted @ 2019-03-23 10:39 pursue330 阅读(256) 评论(0) 推荐(0)

flume介绍

摘要： https://www.cnblogs.com/zhangyinhua/p/7803486.html 一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generat 阅读全文

posted @ 2019-03-23 09:30 pursue330 阅读(266) 评论(0) 推荐(0)

公告