Sirius-

摘要： 建表优化 分区表 分区表对应一个HDFS上的独立文件夹，该文件夹下是该分区所有的数据文件，HIVE分区就是分目录； 分区表创建： create table table_name( xxxx ) partitioned by (ds string) 分区不能是表中已经存在的字段 添加分区： alter 阅读全文

摘要： 概述 spark在2.0前使用的scala的akka框架实现的rpc，由于很多用户会使用Akka做消息传递，会和Spark内嵌的版本产生冲突，所以在spark2.0以后通过netty实现了一个类似akka的actor模型替换akka成为spark的rpc通讯层； Driver端通讯环境初始化 Spa 阅读全文

摘要： 用户端执行 以下是一个以spark on yarn Cluster模式提交命令，本系列文章所有分析都是基于spark on yarn Cluster模式，spark版本：2.4.0 spark-submit \ --class org.apache.spark.examples.SparkPi \ 阅读全文

摘要： 初始化 spring-mvc的核心便是DispatcherServlet，所以初始化也是围绕其展开的。类图: Servlet标准定义了init方法是其生命周期的初始化方法。 HttpServletBean.init: @Override public final void init() throws 阅读全文

摘要： 开头 从功能上来说，spring-task这个组件主要包括了两个/两种功能: 任务的定时调度/执行，对应xml配置的task:scheduler和task:scheduled-tasks标签。 方法异步执行，对应xml配置的task:executor标签。 task:annotation-drive 阅读全文

摘要： 配置 以最简单的jdbc事务为例: <!-- 数据源以Sping自带为例，每次请求均返回一个新的连接 --> <bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource"> <pro 阅读全文

摘要： 开头 入口方法在BeanDefinitionParserDelegate.parseCustomElement： return handler.parse(ele, new ParserContext(this.readerContext, this, containingBd)); parse方法 阅读全文

摘要： 开头 aop部分的解析器由AopNamespaceHandler注册，其init方法: @Override public void init() { registerBeanDefinitionParser("config", new ConfigBeanDefinitionParser()); r 阅读全文

摘要： 基本 本部分从最基本的Spring开始。配置文件: <?xml version="1.0" encoding="UTF-8"?> <beans> <bean class="base.SimpleBean"></bean> </beans> 启动代码: public static void main( 阅读全文

摘要： spring模块 Spring框架的功能被有组织的分散到约20个模块中。这些模块分布在核心容器，数据访问/集成，Web，AOP（面向切面​​的编程），植入(Instrumentation)，消息传输和测试，如下面的图所示。 核心容器 核心容器由以下模块组成，spring-core， spring-b 阅读全文