04 2020 档案

Elasticsearch结合Springboot框架实现增删改查以及高亮设置的部分代码
摘要：package com.blb.service.impl; import ch.qos.logback.core.joran.conditional.ElseAction; import com.blb.dao.GzDataRepository; import com.blb.domain.GzDa 阅读全文
posted @ 2020-04-29 17:17 羊想云彩 阅读(633) 评论(0) 推荐(0)
SSM项目的配置文件
摘要：记不住ssm配置文件的我默默的备份了一下，方便以后快速搭建框架： 1.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/ 阅读全文
posted @ 2020-04-29 14:52 羊想云彩 阅读(1009) 评论(0) 推荐(0)
Springboot整合Elasticsearch的配置文件
摘要：记录一下Elasticsearch结合Springboot项目的配置文件，免得忘记了又要采坑 一、application.yml spring: data: elasticsearch: cluster-name: my-application cluster-nodes: 127.0.0.1:93 阅读全文
posted @ 2020-04-29 14:34 羊想云彩 阅读(7939) 评论(0) 推荐(1)
Centos7.4环境下flume集成kafka
摘要：一.练习目标 1.Flume.监控/tmp/logs/update.log文件 2.创建日志生成的脚本，写入/tmp/logs/update.log。 3.Flume捕获数据 4.将捕获的数据，推送到消息队列kafka 5.在Kafka模拟数据消费 二.详细步骤 1.解压并安装flume 解压到指定 阅读全文
posted @ 2020-04-29 14:29 羊想云彩 阅读(200) 评论(0) 推荐(0)
Centos7.4环境下kafka集群的搭建
摘要：一、下载kafka安装包 下载路径：http://kafka.apache.org/downloads 并上传到linux机器中 解压到指定目录：tar -zxvf kafka2.11/ -C /opt/soft/ 二、添加环境变量 vim /etc/profile加入下图环境变量: 三、修改kaf 阅读全文
posted @ 2020-04-29 12:50 羊想云彩 阅读(352) 评论(0) 推荐(0)
Spark之RDD算子学习
摘要：1.编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAs 阅读全文
posted @ 2020-04-22 15:14 羊想云彩 阅读(213) 评论(0) 推荐(0)
Spark集群的搭建
摘要：一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 阅读全文
posted @ 2020-04-16 23:16 羊想云彩 阅读(233) 评论(0) 推荐(0)
Hadoop学习之RPC调用
摘要：一、概述 1. RPC 的全称是 Remote Procedure Call（远程过程调用）是一种进程间通信方式2. 它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。 即程序员无论是调用本地的还是远程的，本质上编写的调用代码基本相同 阅读全文
posted @ 2020-04-16 10:34 羊想云彩 阅读(281) 评论(0) 推荐(0)
Hadoop之序列化
摘要：一、概述 1. 数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传输，或者可存储在内存或者文件中2. 反序列化则是相反的操作，将对象从序列化数据中还原出来数据序列化的重点在于数据的交换和传输 二、衡量标准 1. 序列化之后的数据大小。因为序列化的数据要通过网络进行传输或者是存储在内存 阅读全文
posted @ 2020-04-16 10:18 羊想云彩 阅读(345) 评论(0) 推荐(0)
Hadoop之MapReduce学习(三)之ip去重、MaxScore示例、TotalScoreMapper示例
摘要：一、IP去重示例 数据文件： 192.168.10.111 192.168.10.111 10.32.100.111 192.168.21.111 192.168.10.112 192.168.10.111 192.168.11.111 192.168.12.112 192.168.11.111 I 阅读全文
posted @ 2020-04-15 23:40 羊想云彩 阅读(533) 评论(0) 推荐(0)