我的随笔

Spark2.2(三十八)：Spark Structured Streaming2.4之前版本使用agg和dropduplication消耗内存比较多的问题（Memory issue with spark structured streaming）调研

cctext 2018-12-26 10:25 阅读:1645 评论:0 推荐:0

Spark2.3(三十七)：Stream join Stream（res文件每天更新一份）

cctext 2018-12-15 21:17 阅读:1954 评论:0 推荐:0

Spark2.3(三十六)：根据appName验证某个app是否在运行

cctext 2018-12-12 10:46 阅读:763 评论:0 推荐:0

Spark2.3（三十五）Spark Structured Streaming源代码剖析(从CSDN和Github中看到别人分析的源代码的文章值得收藏)

cctext 2018-12-11 23:23 阅读:1252 评论:0 推荐:1

Spark：实现行转列

cctext 2018-12-05 17:33 阅读:4653 评论:0 推荐:0

Spark2.3（三十四）：Spark Structured Streaming之withWaterMark和windows窗口是否可以实现最近一小时统计

cctext 2018-12-02 19:21 阅读:3830 评论:1 推荐:0

Spark2.2（三十三）：Spark Streaming和Spark Structured Streaming更新broadcast总结（一）

cctext 2018-11-19 18:31 阅读:3450 评论:2 推荐:0

Centos7：Failed to start LSB: Bring up/down networking

cctext 2018-11-17 23:15 阅读:4429 评论:0 推荐:0

CDH：cdh5环境搭建

cctext 2018-11-15 10:36 阅读:3053 评论:0 推荐:0

CDH：cdh5环境mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x

cctext 2018-11-13 17:03 阅读:3535 评论:0 推荐:0

Spark2.2+ES6.4.2（三十二）：ES API之index的create/update/delete/open/close（创建index时设置setting，并创建index后根据avro模板动态设置index的mapping）

cctext 2018-11-03 11:02 阅读:1471 评论:0 推荐:0

Spark2.2+ES6.4.2（三十一）：Spark下生成测试数据，并在Spark环境下使用BulkProcessor将测试数据入库到ES

cctext 2018-10-31 18:33 阅读:1842 评论:0 推荐:0

Spark：几种给Dataset增加列的方式、Dataset删除列、Dataset替换null列

cctext 2018-10-29 18:54 阅读:18906 评论:0 推荐:0

Kafka：ZK+Kafka+Spark Streaming集群环境搭建（三十）：使用flatMapGroupsWithState替换agg

cctext 2018-10-24 18:34 阅读:1880 评论:0 推荐:0

Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十九）：推送avro格式数据到topic，并使用spark structured streaming接收topic解析avro数据

cctext 2018-10-23 10:03 阅读:981 评论:1 推荐:0

数据结构：二叉树

cctext 2018-10-22 14:57 阅读:476 评论:0 推荐:0

Spark：java api读取hdfs目录下多个文件

cctext 2018-10-19 15:57 阅读:11639 评论:0 推荐:0

Java:大文件拆分工具

cctext 2018-10-18 09:55 阅读:2027 评论:0 推荐:0

SpringBoot(八)：系统错误统一拦截器

cctext 2018-10-15 23:02 阅读:4442 评论:0 推荐:1

Spark Structured Streaming：将数据落地按照数据字段进行分区方案

cctext 2018-10-12 10:53 阅读:1857 评论:0 推荐:0