2020年9月
Spark容错机制
摘要： Spark以前的集群容错处理模型，像MapReduce，将计算转换为一个有向无环图（DAG）的任务集合，这样可以通过重复执行DAG里的一部分任务来完成容错恢复。但是由于主要的数据存储在分布式文件系统中，没有提供其他存储的概念，容错过程需要在网络上进行数据复制，从而增加了大量的消耗。所以，分布式编程中 阅读全文
posted @ 2020-09-02 16:37 惨遭虐泉的小学生 阅读(167) 评论(0) 推荐(0)
2020年8月
正则表达式
摘要： 正则表达式：1. ^: 表示字符串的开始 $: 表示字符串的结束 *: 表示没有或有一次或多次 x>=0 +: 表示至少一次 x>=1 ?: 表示至多一次 0=<x<=1 eg: "ab*": "a","ab","abb",... "ab+": "ab","abb",... "ab?": "a"," 阅读全文
posted @ 2020-08-26 15:51 惨遭虐泉的小学生 阅读(170) 评论(0) 推荐(0)
Elastic Search 聚合分析操作
摘要： // 复杂搜索SearchResponse response = client.prepareSearch("resource") .setTypes("label") .setQuery(QueryBuilders.matchQuery("title", "App版本升级")) .setPostF 阅读全文
posted @ 2020-08-25 15:52 惨遭虐泉的小学生 阅读(363) 评论(0) 推荐(0)
工作中用到的一些hive 语句
摘要： -- 强制删库，同时删除库下的所有表 drop database database_name cascade; -- 中文乱码，将编码改为拉丁文alter database hive character set latin1; -- 内连接select * from A inner join B o 阅读全文
posted @ 2020-08-25 11:13 惨遭虐泉的小学生 阅读(113) 评论(0) 推荐(0)
记录一些Spark算子
摘要： 1. mapWithState val spark = SparkSession.builder().master("local[*]").appName("MapWithState").getOrCreate() val ssc: StreamingContext = new StreamingC 阅读全文
posted @ 2020-08-24 21:39 惨遭虐泉的小学生 阅读(79) 评论(0) 推荐(0)
ElasticSearch Java IPA
摘要： 初学ElasticSearch，记录下代码 package com.lucas;import org.elasticsearch.action.delete.DeleteResponse;import org.elasticsearch.action.get.GetResponse;import o 阅读全文
posted @ 2020-08-24 20:07 惨遭虐泉的小学生 阅读(54) 评论(0) 推荐(0)