江舟

摘要： python aop 参考文章：https://www.jianshu.com/p/4c588eec1be1 python的aop由@语法糖来实现，@语法糖就是个装饰器模式。能够这么实现是因为在python中函数就是对象。因此，对象： 可以赋值给一个变量 可以在其他函数中定义 函数可以返回另一个函数 阅读全文

摘要： Java&Go 并发编程比较 锁 使用一个2线程（协程）累计数的例子来展示 java java中的锁是使用synchronized或者ReentrantLock，java中synchronized关键字对不同对象使用有不同的效果，可以对对象，实例方法，静态方法使用，分别表示给对象，实例，类加锁。 s 阅读全文

摘要： Hive 原文地址：https://www.cnblogs.com/itboys/tag/HIVE/ Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言——HiveQL，可通过HQL语句实现简单的MR统计， 阅读全文

摘要： #分库分表 ##数据库切分概述 ###OLTP&OLAP 在互联网时代，海量数据的存储与访问成为系统设计与使用的瓶颈问题，对于海量数据处理，按照使用场景，主要分为两种类型：联机事务处理（OLTP）和联机分析处理（OLAP）。 联机事务处理（OLTP）也称为面向交易的处理系统，其基本特征是原始数据可以 阅读全文

摘要： 基础API概览 API的一些基础概念在前文之中已经有些解释，已经解释过的这里做个简略的复习。 其实要强调的就是： 数据流、构建DAG图、Source、Sink、算子、延迟计算。 指定键 一些转换操作（join, coGroup, keyBy, groupBy）要求在元素集合上定义键。另外一些转换操作 阅读全文

摘要： Table API Flink API总览 如图，Flink 根据使用的便捷性和表达能力的强弱提供了 3 层 API，由上到下，表达能力逐渐增强，比如 processFunction，是最底层的 API，表达能力最强，我们可以用他来操作 state 和 timer 等复杂功能。Datastream 阅读全文

摘要： DataStream API Apache Flink 提供了 DataStream API 来实现稳定可靠的、有状态的流处理应用程序。 Flink 支持对状态和时间的细粒度控制，以此来实现复杂的事件驱动数据处理系统。 本文将搭建一个针对可疑信用卡交易行为的反欺诈检测系统。 例子分析 FraudDe 阅读全文

摘要： 消息投递语义 At most once —— 消息可能丢失但不会重复投递 At least once —— 消息不会丢失但可能重复投递 Exactly once —— 消息只投递一次 许多系统都声称提供"exactly once"投递，但是仔细阅读很重要，大部分这种宣称都是误导（他们没有考虑生产者和 阅读全文

摘要： 主题和日志(Topics and Logs) 一个topic是一个分类，或者说是记录被发布的时候的一个名字。对于每个主题，Kafka集群维护一个分区日志，如下图所示： 每个分区都是一个有序的、不可变的记录序列，而且记录会不断的被追加，一条记录就是一个结构化的提交日志（a structured com 阅读全文

摘要： 检索数据 示例数据 下载测试数据 "accounts.json" 测试数据中每个文档的格式如下： 之后再accounts.json所在目录执行以下命令导入数据 Search API 运行搜索有两种基本方法：一种是通过REST请求URI发送检索参数，另一种是通过REST请求体发送检索参数。 相当于HT 阅读全文