bigbigtree

摘要： 阅读全文

摘要： [toc] 基础 概述 + Spark计算平台有两个重要角色，Driver和executor + Driver + Driver充当Application的master角色，负责任务执行计划生成和任务分发及调度； + Driver负责生成逻辑查询计划、物理查询计划和把任务派发给executor + 阅读全文

摘要： [toc] 概述 定义 + 代理模式顾名思义，作为某对象的代表，去做某些事情。例如海淘、转运公司，代收快递等，都是生活中的代理模式。 + 代理模式的英文叫做Proxy或Surrogate。 + 定义：代理(Proxy)是一种设计模式,为其他对象提供一个代理以控制对某个对象的访问，即通过代理对象访问目 阅读全文

摘要： [toc] 版本 spark 2.2.0 起点 + Spark thrift server复用了Hive Server2的源码，插入了自己的覆盖的方法。 + 整个过程里面需要穿插着Hive和Spark的源码。 + 整个流程是从Beeline开始的，Beeline属于是Hive的源码，下面开始进入流程 阅读全文

摘要： 1、通过语言特性实现： 2、通过第三方库实现： pip install retry 参数介绍： 案例： 参考：https://pypi.python.org/pypi/retry https://stackoverflow.com/questions/2083987/how-to-retry-aft 阅读全文

摘要： 错误信息： This requested used more time than allowed and has been forcefully stopped. Max rendering time is 60.0s 问题： 由于内存资源、渲染时间等超过限制导致 解决方法： 修改Max rende 阅读全文

摘要： 业务背景 技术选型 Kafka Producer SparkStreaming 接收Kafka数据流 基于Receiver接收数据 直连方式读取kafka数据 Direct连接示例 使用Zookeeper维护KafkaOffset示例 SparkStreaming 数据处理 调优 合理的批处理时间（ 阅读全文

摘要： 原因： kafka.eagle.offset.storage配置有误 该配置的作用：# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this 阅读全文

摘要： 情况描述 Hive建表时报错，元数据存储在mysql中。 报错信息 如下： 解决方法： 修改数据库编码，在mysql机器的上命令行中运行: alter database hive character set latin1; 阅读全文

摘要： 问题： method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because 阅读全文