当前标签：Hadoop+Spark

Spark（四十四）：使用Java调用spark-submit.sh(支持 --deploy-mode client和cluster两种方式)并获取applicationId

cctext 2019-04-02 14:22 阅读:8297 评论:0 推荐:1

Spark2.3（四十三）：Spark Broadcast总结

cctext 2019-03-28 10:00 阅读:23898 评论:0 推荐:2

Spark2.3（四十二）：Spark Streaming和Spark Structured Streaming更新broadcast总结（二）

cctext 2019-03-27 21:23 阅读:3463 评论:0 推荐:0

Spark2.2出现异常：ERROR SparkUI: Failed to bind SparkUI

cctext 2019-03-19 14:16 阅读:2870 评论:0 推荐:0

CDH下集成spark2.2.0与kafka（四十一）：在spark+kafka流处理程序中抛出错误java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

cctext 2019-01-15 20:11 阅读:4901 评论:1 推荐:1

Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志

cctext 2019-01-09 22:20 阅读:15247 评论:10 推荐:0

Spark2.2(三十九)：如何根据appName监控spark任务,当任务不存在则启动（任务存在当超过多久没有活动状态则kill，等待下次启动）

cctext 2019-01-08 22:52 阅读:2199 评论:0 推荐:1

Spark2.2(三十八)：Spark Structured Streaming2.4之前版本使用agg和dropduplication消耗内存比较多的问题（Memory issue with spark structured streaming）调研

cctext 2018-12-26 10:25 阅读:1653 评论:0 推荐:0

Spark2.3(三十七)：Stream join Stream（res文件每天更新一份）

cctext 2018-12-15 21:17 阅读:1958 评论:0 推荐:0

Spark2.3(三十六)：根据appName验证某个app是否在运行

cctext 2018-12-12 10:46 阅读:765 评论:0 推荐:0

Spark2.3（三十五）Spark Structured Streaming源代码剖析(从CSDN和Github中看到别人分析的源代码的文章值得收藏)

cctext 2018-12-11 23:23 阅读:1258 评论:0 推荐:1

Spark：实现行转列

cctext 2018-12-05 17:33 阅读:4661 评论:0 推荐:0

Spark2.3（三十四）：Spark Structured Streaming之withWaterMark和windows窗口是否可以实现最近一小时统计

cctext 2018-12-02 19:21 阅读:3838 评论:1 推荐:0

Spark2.2（三十三）：Spark Streaming和Spark Structured Streaming更新broadcast总结（一）

cctext 2018-11-19 18:31 阅读:3461 评论:2 推荐:0

CDH：cdh5环境搭建

cctext 2018-11-15 10:36 阅读:3057 评论:0 推荐:0

CDH：cdh5环境mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x

cctext 2018-11-13 17:03 阅读:3540 评论:0 推荐:0

Spark2.2+ES6.4.2（三十二）：ES API之index的create/update/delete/open/close（创建index时设置setting，并创建index后根据avro模板动态设置index的mapping）

cctext 2018-11-03 11:02 阅读:1475 评论:0 推荐:0

Spark2.2+ES6.4.2（三十一）：Spark下生成测试数据，并在Spark环境下使用BulkProcessor将测试数据入库到ES

cctext 2018-10-31 18:33 阅读:1858 评论:0 推荐:0

Spark：几种给Dataset增加列的方式、Dataset删除列、Dataset替换null列

cctext 2018-10-29 18:54 阅读:18964 评论:0 推荐:0

Spark：java api读取hdfs目录下多个文件

cctext 2018-10-19 15:57 阅读:11650 评论:0 推荐:0