2019年7月9日
YARN 原理简介
摘要： YARN 组件 "参考：Spark on Yarn | Spark，从入门到精通" YARN 采用 Master/Slave结构 ，包含ResourceManager 和 NodeManager ResourceManager 是 Master; NodeManager 是 Slave。 YARN的 阅读全文
posted @ 2019-07-09 15:16 lillcol 阅读(1248) 评论(0) 推荐(0)
2019年7月4日
23种设计模式（三）-对象创建
摘要： Factory Method 工厂方法 模式定义： 定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method使得一个类的实例化延迟（目的：解耦，手段：虚函数）到子类。 组件： 抽象工厂（AbstractFactory） ：提供了创建产品的接口，调用者通过它访问具体工厂的工厂 阅读全文
posted @ 2019-07-04 00:19 lillcol 阅读(547) 评论(0) 推荐(0)
23种设计模式（二）-单一职责模式
摘要： 单一职责模式 Decorator：装饰者模式 通常情况下，扩展一个类的功能会使用继承方式来实现。 但继承具有静态特征，耦合度高，并且随着扩展功能的增多，子类会很膨胀。 此时可以使用组合关系来创建一个包装对象（即装饰对象）来包裹真实对象，并在保持真实对象的类结构不变的前提下，为其提供额外的功能。 Go 阅读全文
posted @ 2019-07-04 00:18 lillcol 阅读(242) 评论(0) 推荐(0)
23种设计模式（一）-组件协作模式
摘要： 典型的三种组件协作模式 Template Method:模板方法模式 在软件构建过程中，对于某项任务，常常有 稳定 的整体操作结构，但是各个子步骤却有很多 改变 的需求，或者由于固有的原因无法和任务整体结构同时实现。 定义一个算法的骨架，讲一些步骤（变化的）延迟到子类中，是的子类可以复用一个算法的结 阅读全文
posted @ 2019-07-04 00:17 lillcol 阅读(770) 评论(0) 推荐(0)
深入理解JVM（一）类加载器部分:双亲委派模型
摘要： 类加载器的父亲委托机制 在父亲委托机制中，各个类加载器按照父子关系形成了树形结构，除了根类加载器之外，其余的类加载器都有且只有一个父加载器。 先让最顶层可以加在的父加载器加栽（所有可加载的加载器中，处于最顶层的那一个加载器加载，如果都不能加载，则失败） Bootstrap ClassLoader 启 阅读全文
posted @ 2019-07-04 00:16 lillcol 阅读(258) 评论(0) 推荐(0)
深入理解JVM（一）类加载器部分、类变量、常量、jvm参数
摘要： 类加载概述 1. 在java代码中， 类型 的 加载、连接 与 初始化 过程都是在程序运行期间完成的 类型：class、interface（object本身）、类型可在运行期间生成，如动态代理。一种runting概念 加载：最常见的方式是将已经存在的类的字节码文件（.class文件）从磁盘上加载到内 阅读全文
posted @ 2019-07-04 00:16 lillcol 阅读(421) 评论(0) 推荐(0)
Spark-内存管理调优
摘要： 这篇文章主要是对官网内容学习过程的总结，大部分是原文，加上自己的学习笔记！！！ spark 2.0+内存模型 调优内存使用时需要考虑三个因素: 1. 对象使用的内存数量(您可能希望您的整个数据集都能装入内存)； 2. 访问这些对象的成本 3. 垃圾收集的开销(如果对象的周转率很高)。 默认情况下，J 阅读全文
posted @ 2019-07-04 00:13 lillcol 阅读(924) 评论(0) 推荐(1)
2019年5月14日
IDEA本地SBT项目上传到SVN
摘要： 需求 将本地创建的一个项目上到SVN 网上很多从SVN下载到idea，提交、更新、删除等操作。 但是少有从本地上传一个项目到svn管理的案例 本文参考 "https://blog.csdn.net/caojidasabi/article/details/79480376" 根据自己的需求修改了某些步 阅读全文
posted @ 2019-05-14 16:56 lillcol 阅读(387) 评论(0) 推荐(0)
2019年2月13日
centos7 安装mysql
摘要： 安装环境或方式 环境： centos7_64 安装方式：官网下载安装mysql server ps:mysql安装其实不难，但是并没有把步骤记下来，所以我把安装的步骤整理出来方便以后使用 安装mysql 顺序执行下列语句 配置mysql 1. 配置编码格式 /etc/my.cnf 最后面添加 def 阅读全文
posted @ 2019-02-13 11:46 lillcol 阅读(419) 评论(0) 推荐(0)
2019年1月30日
ketlle windows下的安装(最基本)
摘要： ketlle基本介绍 kettle是纯java开发，开源的etl工具。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本还可以二次开发。 kettle其实是以前的叫法，现在官方称为：PDI(Pentaho Data Integeration) Pentaho产品是一个用于访问 阅读全文
posted @ 2019-01-30 16:21 lillcol 阅读(528) 评论(0) 推荐(0)