墨梅青莲

2021年9月8日

摘要：使用流处理实现WordCount，代码如下： 1 package com.jy.bjz.wc; 2 3 import org.apache.flink.api.java.tuple.Tuple2; 4 import org.apache.flink.streaming.api.datastream. 阅读全文

posted @ 2021-09-08 14:52 墨梅青莲阅读(128) 评论(0) 推荐(0)

flink(入门)——wordcount批处理

摘要：复习一下，写一个简单的flink批处理小程序：创建maven项目，引入依赖（注意引入 flink-clients_2.12，flink1.11后 flink-java 移除了这个依赖，需要手动添加，否则会报错 No ExecutorFactory found to execute the appl 阅读全文

posted @ 2021-09-08 14:29 墨梅青莲阅读(255) 评论(0) 推荐(0)

Maven注册本地jar包

摘要： mvn install:install-file -Dfile=（jar包位置） -DgroupId=（group的id） -DartifactId=（artifact的id） -Dversion=（版本号） -Dpackaging=jar 阅读全文

posted @ 2021-09-08 13:47 墨梅青莲阅读(139) 评论(0) 推荐(0)

2021年9月7日

netcat的简单使用

摘要： Netcat 是一款简单的Unix工具，使用UDP和TCP协议。它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的测试工具或黑客工具。使用它你可以轻易的建立任何连接。内建有很多实用的工具。 centos安装： yum install -y nc 模拟9999端口发送消息 nc 阅读全文

posted @ 2021-09-07 10:20 墨梅青莲阅读(66) 评论(0) 推荐(0)

2021年9月6日

Spark数据倾斜处理方案

摘要： 1.HiveETL预处理简述：预先对数据按照key进行聚合，或者是预先和其他表进行join，然后在spark作业中针对的数据源就是预处理后的Hive表，不需要使用原先的shuffle类算子执行。使用场景：导致数据倾斜的是Hive表。如果Hive表中的数据本身很不均匀（比如某个key对应100w数阅读全文

posted @ 2021-09-06 13:58 墨梅青莲阅读(107) 评论(0) 推荐(0)

查询连续三天登录问题

摘要：解决问题：要求使用sql查询出连续三天登录的用户 1.建表： CREATE TABLE `tmp` ( `name` varchar(255) NOT NULL, `login_date` datetime DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u 阅读全文

posted @ 2021-09-06 11:11 墨梅青莲阅读(465) 评论(0) 推荐(0)

使用Navicat查询Mysql版本

摘要：查询语句如下： SELECT VERSION() FROM DUAL; 结果如下阅读全文

posted @ 2021-09-06 09:37 墨梅青莲阅读(402) 评论(0) 推荐(0)

2021年8月31日

栈——实现综合计算器（中缀表达式）

摘要：代码如下： public class Calculator { public static void main(String[] args) { String expression = "7*2-5*2"; int length = expression.length(); CalcuStack n 阅读全文

posted @ 2021-08-31 14:55 墨梅青莲阅读(45) 评论(0) 推荐(0)

栈

摘要：介绍： 1）先入后出 2）插入和删除只能在线性表的同一端进行的一种特殊线性表。允许插入和删除的一端，叫栈顶；另一端叫栈底。 3）先放入元素在栈底，后放入元素在栈顶。应用场景： 1）子程序的调用：在跳子程序前，会先将下个指令的地址存到堆栈中，直到子程序执行完后再将地址取出，一回到原来的程序。 2）处阅读全文

posted @ 2021-08-31 10:08 墨梅青莲阅读(35) 评论(0) 推荐(0)

2021年8月30日

Zookeeper（三）选举机制

摘要：必要小知识： 1）SID：服务武器ID。用来唯一标识服务器的id，和myid文件中的一致。 2）ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID不一定完全一致，和Zookeeper服务器对客户端的“更新请求”的处理逻辑有关。 3）Epo 阅读全文

posted @ 2021-08-30 23:20 墨梅青莲阅读(140) 评论(0) 推荐(0)

公告