摘要：
数据库：存储数据的物理操作系统文件或其他形式文件的集合数据库实例：MySql数据库实例由后台线程以及一个共享内存区组成，负责操作数据库文件。MySql是一个单进程多线程架构的数据库，MySql数据库实例在系统上表现就是一个进程。 MySQL区别于其他数据库的一个最重要的特点是插件式存储引擎。它是基于 阅读全文
2021年8月11日
2021年6月25日
摘要：
2021/06 1.Jstorm - 大量FAIL 调整spoutpending; time out ; bolt数量; worker数量; 解读Jstorm指标体系 2.Flink 异常 检查Savepoint间隔时间; 检查Checkpoint间隔时间 ;checkpoint timeout时间 阅读全文
2020年10月26日
摘要：
先看看slot 任务槽（Task slot） 1.flink的TM就是运行在不同节点上的JVM进程（process）,这个进程会拥有一定量的资源。比如内存，cpu，网络，磁盘等。flink将进程的内存进行了划分到多个slot中.图中有2个TaskManager，每个TM有3个slot的，每个slot 阅读全文
2020年10月19日
摘要：
JAVA代码层次; 阿里推荐: 开放接口层:可直接封装 Service 方法暴露成 RPC 接口;通过 Web 封装成 http 接口;进行 网关安全控制、流量控制等。 终端显示层：各个端的模板渲染并执行显示的层。当前主要是 velocity 渲染，JS 渲染， JSP 渲染，移动端展示等Web 层 阅读全文
2019年10月16日
摘要：
数据库模式，结构可以预先规定的，或者可以相对固定的项目 要求数据一致性 具有良好的开发者经验和技术支持的标准的成熟技术 不相关，不确定和逐步发展的数据需求 更简单或者更宽松的能够快速开始编程的项目 速度和可扩展性至关重要的 当然现在很多项目都使用 SQL 和 NoSQL 相结合的方式，各自发挥其优点 阅读全文
2019年9月20日
摘要：
Flink提供了专门操作redis的Redis Sink 依赖 类 Redis Sink 提供用于向Redis发送数据的接口的类。接收器可以使用三种不同的方法与不同类型的Redis环境进行通信： 使用 Redis Sink 核心类是 RedisMappe 是一个接口，使用时我们要编写自己的redis 阅读全文
摘要：
Flink的应用开发 1、首先创建Flink执行环境 2、构建数据源，添加数据源 数据源是Flink的数据流入口，目前flink已经包含了一些常用的数据源组件，可以直接从文件，文件目录，hdfs文件系统、socket、Kafka(需要单独引入flink-connector-kafka包)消息等源头中 阅读全文
2019年9月19日
摘要：
Akka在Flink中的使用 Akka在Flink中用于三个分布式技术组件之间的通信，他们是JobClient，JobManager，TaskManager。Akka在Flink中主要的作用是用来充当一个coordinator的角色。 Flink为什么要用Akka来代替RPC 原先的RPC服务存在的 阅读全文
摘要：
Akka是一个用来开发支持并发、容错、扩展性的应用程序框架。它是actor model的实现，因此跟Erlang的并发模型很像。在actor模型的上下文中，所有的活动实体都被认为是互不依赖的actor。actor之间的互相通信是通过彼此之间发送异步消息来实现的。每个actor都有一个邮箱来存储接收到 阅读全文
2019年9月9日
摘要：
“富函数”是DataStream API提供的一个函数类的接口，所有Flink函数类都有其Rich版本。 它与常规函数的不同在于，可以获取运行环境的上下文，并拥有一些生命周期方法，所以可以实现更复杂的功能。 RichMapFunction RichFlatMapFunction RichFi 阅读全文
