2018 年 12月随笔档案 - Grand_Jon

摘要：管理模式阅读全文

posted @ 2018-12-27 23:42 Grand_Jon 阅读(228) 评论(0) 推荐(0)

摘要：Hadoop Distributed File System 易于拓展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务 NameNode Namenode是一个中心服务器，==单一节点==（简化系统的设计和实现），==负责管理文件系统的名字空间（name 阅读全文

posted @ 2018-12-26 23:53 Grand_Jon 阅读(585) 评论(0) 推荐(0)

11、 Hadoop 2.x各个服务组件如何配置在那台服务器运行并测试

摘要：HDFS模块 NameNode：是由哪个文件中的哪个配置属性指定的呢？ core site.xml文件中； DataNodes：是由哪个文件中的哪个配置属性指定的呢？ slaves文件中； SecondaryNameNode：是由哪个文件中的哪个配置属性指定的呢？ hdfs site.xml文件中；阅读全文

posted @ 2018-12-25 18:56 Grand_Jon 阅读(198) 评论(0) 推荐(0)

10、Hadoop组件启动方式和SSH无密码登陆

摘要：启动方式一、各个组件逐一启动二、各个模块分开启动需要配置ssh无密钥登陆三、全部启动 SSH无密钥登陆 1. 运行：ssh keygen t rsa 2. 然后拍两下回车（均选择默认） 3. 运行： ssh copy id i /root/.ssh/id_rsa.pub root@192.1 阅读全文

posted @ 2018-12-24 23:09 Grand_Jon 阅读(495) 评论(0) 推荐(0)

9、Hadoop配置文件和HDFS垃圾回收

摘要：配置文件默认配置文件：相对应的jar包中 core default.xml hdfs default.xml yarn default.xml mapred default.xml 自定义配置文件 $HADOOP_HOME/etc/hadoop/ core site.xml hdfs site.x 阅读全文

posted @ 2018-12-23 22:58 Grand_Jon 阅读(235) 评论(0) 推荐(0)

8、日志聚集服务

摘要：Log Aggregation 日志聚集增加以下配置信息启动日志服务器重新启动yarn服务阅读全文

posted @ 2018-12-21 14:14 Grand_Jon 阅读(178) 评论(0) 推荐(0)

7、环境搭建常见问题汇总

摘要：NameNode格式化配置文件信息有问题主机名ip映射配置问题启动NameNode出错查看日志 `logs/ ` 阅读全文

posted @ 2018-12-20 18:26 Grand_Jon 阅读(182) 评论(0) 推荐(0)

6、Hadoop 2.6.0 运行

摘要：运行方式 1. Local (Standalone) Mode 1. Pseudo Distributed Mode 1. Fully Distributed Mode Standalone Operation Pseudo Distributed Operation Configuration U 阅读全文

posted @ 2018-12-19 15:02 Grand_Jon 阅读(235) 评论(0) 推荐(0)

5、Hadoop 2.6.5 环境搭建

摘要：下载地址：http://archive.apache.org/dist/hadoop/common/ 准备官网文档：http://hadoop.apache.org/docs/r2.6.5/hadoop project dist/hadoop common/SingleCluster.html 阅读全文

posted @ 2018-12-18 14:47 Grand_Jon 阅读(388) 评论(0) 推荐(0)

4、MapReduce思想、运行机制

摘要：MapReduce 离线计算框架分而治之 input map shuffle reduce output 分布式并行的计算框架将计算过程分为两个阶段，Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle链接Map和Reduce两个阶段 Map T 阅读全文

posted @ 2018-12-17 11:33 Grand_Jon 阅读(139) 评论(0) 推荐(0)

3、HDFS架构和YARN架构

摘要：HDFS 架构图 HDFS 服务功能 NameNode NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 DataNode DataNode在本地文件系统存储文件块数据，以及块数据的校验和。 Se 阅读全文

posted @ 2018-12-16 21:12 Grand_Jon 阅读(298) 评论(0) 推荐(0)

2、Hadoop 2.X 概述及生态系统

摘要：Hadoop官网 http://hadoop.apache.org/ Hadoop来源 GFS HDFS MapReduce MapReduce BigTable HBase Common The common utilities that support the other Hadoop modu 阅读全文

posted @ 2018-12-13 23:12 Grand_Jon 阅读(278) 评论(0) 推荐(0)

【shell】2、判断表达式、if语句

摘要：文件类型判断：该文件名是否存在：该文件名是否存在且为文件（file）：该文件名是否存在且为目录（directory）文件权限判断：该文件名是否存在且有==可读==的权限：该文件名是否存在且有==可写==的权限：该文件名是否存在且==有可执行==的权限两个整数之间的判定，例如数值相等阅读全文

posted @ 2018-12-12 00:29 Grand_Jon 阅读(492) 评论(0) 推荐(0)

【shell】1、变量的声明、引用及作用域

摘要：shell程序以文件形式存放==批量的Linux命令集合==，该文件能够被Shell解释执行，这种文件就是Shell脚本程序通常由一段Liunx命令、Shell命令、控制语句以及注释语句构成 Shell脚本的编写 Shell脚本是纯文本文件，可以使用任何文本编辑器编写 Shell脚本通常是以.s 阅读全文

posted @ 2018-12-12 00:24 Grand_Jon 阅读(1505) 评论(0) 推荐(0)

开放API接口安全处理

摘要：一、开放API接口定义顾名思义，开放出来给其他人调用的API接口就是开放API接口。例如，短信接口、邮件接口。二、开放API的弱点 1. 数据窃取用户的密码等信息被不轨之人窃取，登录账号发布敏感信息，盗刷等。 2. 数据篡改提交的数据被抓包后进行篡改后再提交。 3. 数据泄露爬虫将业务数据阅读全文

posted @ 2018-12-11 01:25 Grand_Jon 阅读(971) 评论(0) 推荐(0)

Base64编码原理

摘要：Base64是编码方式不是加密方式标准的ASCII码 128个中96个可见字符，其余为不可见字符，为了避免不可见字符使用了64个可见字符进行编码（1）原理例如：Hello 1. 先转成二进制 2. 打乱重编码，以6个一组进行重编码，不满足的需要补0 注意：为什么要6个一组，因为一共64个可见阅读全文

posted @ 2018-12-10 23:11 Grand_Jon 阅读(312) 评论(0) 推荐(0)

7、基本命令-Crontab定时调度

摘要：在Linux中，自带调度工具功能crontab，针对用户（每个用户都可以调度自己的任务）创建定时任务 1. ：创建一个定时任务 2. 添加内容 crontab基本定义语法：说明：：1 59，每十分钟 /10 ：0 23， /2 ：1 31 ：1 12 ：0 6，星期天0 1 2 3 4 5 阅读全文

posted @ 2018-12-10 22:58 Grand_Jon 阅读(194) 评论(0) 推荐(0)

6、基本命令-防火墙

摘要：防火墙：查看防火墙是否关闭：关闭防火墙：开启防火墙：永久关闭/开启防火墙 selinux 禁用步骤 1. 2. 3. ：重启机器阅读全文

posted @ 2018-12-10 22:56 Grand_Jon 阅读(298) 评论(0) 推荐(0)

5、基本命令-软件安装

摘要：RPM命令：检查某个软件是否安装：卸载已安装的命令：安装软件 tar软件：解压到当前目录：解压到指定目录：压缩目录 zip软件：解压：压缩 yum方式需要提前配置源阅读全文

posted @ 2018-12-10 22:53 Grand_Jon 阅读(213) 评论(0) 推荐(0)

4、基本命令-系统管理

摘要：系统信息：系统信息：系统版本信息：cpu详细信息：内存信息：查看日期：显示某年的日历表：root用户设置系统日期：root用户设置系统时间磁盘信息：显示磁盘信息：显示指定目录的大小磁盘操作：用户root下查看磁盘信息：修复磁盘,自动修复 root用户：显示挂载磁盘的信阅读全文

posted @ 2018-12-10 22:52 Grand_Jon 阅读(122) 评论(0) 推荐(0)

3、基本命令-文件操作

摘要：当前目录下，文件 ==比多了.开始的隐藏文件== 特殊目录标识符一个点：当前目录两个点：上级目录切换目录： ==change directory 缩写== 用户和组：创建用户的时候会默认创建用户目录和组文件：==在Linux系统下面，文件类型（常见三种类型）== 1. 文件&emsp 阅读全文

posted @ 2018-12-10 22:50 Grand_Jon 阅读(169) 评论(0) 推荐(0)

2、基本命令-系统用户

摘要：清屏：显示当前目录：创建用户：：用户名：密码 Linux下，默认情况创建一个用户的同时会给用户在系统的目录下创建一个属于自己的用户目录，该目录称为用户主目录。例如： /home/hw，用户的主目录可以使用 ~ 进行表示。切换用户： root切换到普通用户：不需要输入密码普通用户切换到阅读全文

posted @ 2018-12-09 12:26 Grand_Jon 阅读(145) 评论(0) 推荐(0)

1、远程连接工具

摘要：一、远程连接四要素 1. IP地址 2. 用户名 3. 密码 4. 协议 ssh 二、远程连接工具第一次远程连接到Linux系统时，默认进入用户主目录 ~ 1. 远程命令行：SecureCRT 2. 远程FTP： FileZilla 文件传输协议 3. 远程编辑工具：Notepad++、Ultra 阅读全文

posted @ 2018-12-09 12:15 Grand_Jon 阅读(169) 评论(0) 推荐(0)

Restful架构API编码规范

摘要：Restful API 目前比较成熟的一套互联网应用程序的API设计理论一、协议 API与用户的通信协议，总是使用HTTPs协议。二、域名应该尽量将API部署在专用域名之下。三、版本（Versioning）应该将API的版本号放入URL。另一种做法是，将版本号放在HTTP头信息中，但不如阅读全文

posted @ 2018-12-09 12:09 Grand_Jon 阅读(892) 评论(0) 推荐(0)

61、springmvc-异步请求-返回DeferredResult

摘要：61、springmvc 异步请求返回DeferredResult 61.1 DeferredResult 官方文案 61.2 使用创建一个队列在10秒超时之前调用 /create 和 /createOrder 返回结果一直如果超时返回 create order error 阅读全文

posted @ 2018-12-08 22:12 Grand_Jon 阅读(594) 评论(0) 推荐(0)

60、springmvc-异步请求-返回Callable

摘要：60、springmvc 异步请求返回Callable 60.1 Spring MVC异步执行 1. 控制器返回Callable 2. Spring异步处理，将Callable 提交到 TaskExecutor 使用一个隔离的线程进行执行 3. DispatcherServlet和所有的Filte 阅读全文

posted @ 2018-12-08 22:11 Grand_Jon 阅读(1623) 评论(0) 推荐(1)

59、servlet3.0-异步请求

摘要：59、servlet3.0 异步请求 59.1 开启servlet异步请求步骤 1. 支持异步处理 2. 开启异步模式 3. 业务逻辑进行异步处理;开始异步处理 4. 获取响应 59.2 新建异步servlet处理类 59.3 测试用例阅读全文

posted @ 2018-12-08 22:09 Grand_Jon 阅读(231) 评论(0) 推荐(0)

58、springmvc-定制与接管SpringMVC

摘要：58、springmvc 定制与接管SpringMVC 定制SpringMVC； 1）、@EnableWebMvc:开启SpringMVC定制配置功能； 2）、配置组件（视图解析器、视图映射、静态资源映射、拦截器。。。） `extends WebMvcConfigurerAdapter` 阅读全文

posted @ 2018-12-08 22:08 Grand_Jon 阅读(332) 评论(0) 推荐(0)

57、springmvc-整合

摘要：57、springmvc 整合 57.1 创建Spring MVC Annotation项目 57.2 自定义 WebApplicationContext 57.3 AppConfig and RootConfig 阅读全文

posted @ 2018-12-08 22:07 Grand_Jon 阅读(143) 评论(0) 推荐(0)

56、servlet3.0-与SpringMVC整合分析

摘要：56、servlet3.0 与SpringMVC整合分析 1. web容器在启动的时候，会扫描每个jar包下的META INF/services/javax.servlet.ServletContainerInitializer 2. 加载这个文件指定的类SpringServletContainer 阅读全文

posted @ 2018-12-08 22:05 Grand_Jon 阅读(273) 评论(0) 推荐(0)

55、servlet3.0-ServletContext注册三大组件

摘要：55、servlet3.0 ServletContext注册三大组件使用ServletContext 注册 Servlet、Filter、Listener 使用编码的方式，在项目启动的时候给 ServletContext 里面添加组件必须在项目启动的时候来添加 ServletContainerI 阅读全文

posted @ 2018-12-08 22:03 Grand_Jon 阅读(298) 评论(0) 推荐(0)

54、servlet3.0-ServletContainerInitializer

摘要：54、servlet3.0 ServletContainerInitializer Shared libraries（共享库） / runtimes pluggability（运行时插件能力） 1、Servlet容器启动会扫描，当前应用里面每一个jar包的ServletContainerInitia 阅读全文

posted @ 2018-12-08 22:02 Grand_Jon 阅读(219) 评论(0) 推荐(0)

53、servlet3.0-简介&测试

摘要：53、servlet3.0 简介&测试 Servlet 4.0 ： https://www.jcp.org/en/jsr/summary?id=servlet+4.0 阅读全文

posted @ 2018-12-07 10:01 Grand_Jon 阅读(154) 评论(0) 推荐(0)

52、[源码]-Spring源码总结

摘要：52、[源码] Spring源码总结总结一、Spring容器在启动的时候，先会保存所有注册进来的Bean的定义信息； 1. xml注册bean； 2. 注解注册Bean；@Service、@Component、@Bean、xxx 二、Spring容器会合适的时机创建这些Bean 1. 用到这个b 阅读全文

posted @ 2018-12-06 22:08 Grand_Jon 阅读(199) 评论(0) 推荐(0)

51、[源码]-Spring容器创建-容器创建完成

摘要：51、[源码] Spring容器创建容器创建完成 12、finishRefresh();完成BeanFactory的初始化创建工作；IOC容器就创建完成；阅读全文

posted @ 2018-12-06 22:04 Grand_Jon 阅读(180) 评论(0) 推荐(0)

50、[源码]-Spring容器创建-Bean创建完成

摘要：50、[源码] Spring容器创建 Bean创建完成 11、finishBeanFactoryInitialization(beanFactory);初始化所有剩下的单实例bean；阅读全文

posted @ 2018-12-06 22:02 Grand_Jon 阅读(213) 评论(0) 推荐(0)

49、[源码]-Spring容器创建-创建Bean准备

摘要：49、[源码] Spring容器创建创建Bean准备阅读全文

posted @ 2018-12-06 22:00 Grand_Jon 阅读(130) 评论(0) 推荐(0)

48、[源码]-Spring容器创建-初始化事件派发器、监听器等

摘要：48、[源码] Spring容器创建初始化事件派发器、监听器等 8、initApplicationEventMulticaster();初始化事件派发器； 1. 获取BeanFactory 2. 从BeanFactory中获取applicationEventMulticaster的Applicat 阅读全文

posted @ 2018-12-06 21:58 Grand_Jon 阅读(312) 评论(0) 推荐(0)

47、[源码]-Spring容器创建-初始化MessageSource

摘要：47、[源码] Spring容器创建初始化MessageSource 7、initMessageSource();初始化MessageSource组件（做国际化功能；消息绑定，消息解析）； 1. 获取BeanFactory 2. 看容器中是否有id为messageSource的，类型是Messag 阅读全文

posted @ 2018-12-05 21:55 Grand_Jon 阅读(554) 评论(0) 推荐(0)

46、[源码]-Spring容器创建-注册BeanPostProcessors

摘要：46、[源码] Spring容器创建注册BeanPostProcessors 6、registerBeanPostProcessors(beanFactory);注册BeanPostProcessor（Bean的后置处理器）【 intercept bean creation】不同接口类型的Bea 阅读全文

posted @ 2018-12-05 21:52 Grand_Jon 阅读(290) 评论(0) 推荐(0)

45、[源码]-Spring容器创建-执行BeanFactoryPostProcessor

摘要：45、[源码] Spring容器创建执行BeanFactoryPostProcessor 5、invokeBeanFactoryPostProcessors(beanFactory);执行BeanFactoryPostProcessor的方法； BeanFactoryPostProcessor：B 阅读全文

posted @ 2018-12-05 21:51 Grand_Jon 阅读(307) 评论(0) 推荐(0)

44、[源码]-Spring容器创建-BeanFactory预准备

摘要：44、[源码] Spring容器创建 BeanFactory预准备 Spring容器的refresh()【创建刷新】; 1、prepareRefresh()刷新前的预处理; 1. initPropertySources()初始化一些属性设置;子类自定义个性化的属性设置方法； 2. getEnviro 阅读全文

posted @ 2018-12-05 21:48 Grand_Jon 阅读(247) 评论(0) 推荐(0)

【排序算法】冒泡排序（Bubble Sort）

摘要：一、简介冒泡排序（Bubble Sort）也是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。二阅读全文

posted @ 2018-12-04 23:17 Grand_Jon 阅读(1714) 评论(0) 推荐(0)

43、扩展原理-@EventListener与SmartInitializingSingleton

摘要：43、扩展原理 @EventListener与SmartInitializingSingleton 还可以使用 @EventListener; 来监听事件原理：使用EventListenerMethodProcessor处理器来解析方法上的@EventListener；使用 SmartIniti 阅读全文

posted @ 2018-12-04 22:50 Grand_Jon 阅读(802) 评论(0) 推荐(0)

42、扩展原理-ApplicationListener原理

摘要：42、扩展原理 ApplicationListener原理有三个事件 ContextRefreshedEvent、Test_Ext$1[source=我发布了一个事件]、ContextClosedEvent 1. ContextRefreshedEvent事件： 1. 容器创建对象：refresh 阅读全文

posted @ 2018-12-04 22:49 Grand_Jon 阅读(237) 评论(0) 推荐(0)

41、扩展原理-ApplicationListener用法

摘要：41、扩展原理 ApplicationListener用法 ApplicationListener 监听容器中发布的事件。事件驱动模型开发；监听 ApplicationEvent 及其下面的子事件；步骤： 1）、写一个监听器（ApplicationListener实现类）来监听某个事件（Appl 阅读全文

posted @ 2018-12-04 22:46 Grand_Jon 阅读(514) 评论(0) 推荐(0)

40、扩展原理-BeanDefinitionRegistryPostProcessor

摘要：40、扩展原理 BeanDefinitionRegistryPostProcessor BeanDefinitionRegistryPostProcessor extends BeanFactoryPostProcessor postProcessBeanDefinitionRegistry(); 阅读全文

posted @ 2018-12-04 02:10 Grand_Jon 阅读(388) 评论(0) 推荐(0)

39、扩展原理-BeanFactoryPostProcessor

摘要：39、扩展原理 BeanFactoryPostProcessor BeanPostProcessor：bean后置处理器，bean创建对象初始化前后进行拦截工作的 BeanFactoryPostProcessor：beanFactory的后置处理器；在BeanFactory标准初始化之后调用，来定阅读全文

posted @ 2018-12-03 22:34 Grand_Jon 阅读(278) 评论(0) 推荐(0)

38、[源码]-声明式事务-源码分析

摘要：38、[源码] 声明式事务源码分析原理 1、@EnableTransactionManagement 利用TransactionManagementConfigurationSelector给容器中会导入组件导入两个组件 1. AutoProxyRegistrar 2. ProxyTransa 阅读全文

posted @ 2018-12-03 22:32 Grand_Jon 阅读(242) 评论(0) 推荐(0)

37、声明式事务-测试成功

摘要：37、声明式事务测试成功 @Transactional 表示当前方法是一个事物方法 @EnableTransactionManagement 开启基于注解的事务功能注意：数据库引擎要支持事务，如果是mysql，注意表要使用支持事务的引擎，比如innodb，如果是myisam，事务是不起作用的。阅读全文

posted @ 2018-12-03 22:31 Grand_Jon 阅读(179) 评论(0) 推荐(0)

36、声明式事务-环境搭建

摘要：36、声明式事务环境搭建 1、导入相关依赖数据源、数据库驱动、Spring jdbc模块注意：mysql的驱动要和mysql版本对应哦。 2、TXConfig 3、UserService 4、UserDao 5、测试用例不设置事物的情况下，能够成功插入数据，而且抛出异常阅读全文

posted @ 2018-12-03 22:29 Grand_Jon 阅读(184) 评论(0) 推荐(0)

35、[源码]-AOP-原理总结

摘要：35、[源码] AOP 原理总结阅读全文

posted @ 2018-12-01 23:36 Grand_Jon 阅读(206) 评论(0) 推荐(0)

34、[源码]-AOP原理-链式调用通知方法

摘要：34、[源码] AOP原理链式调用通知方法阅读全文

posted @ 2018-12-01 23:35 Grand_Jon 阅读(171) 评论(0) 推荐(0)

33、[源码]-AOP原理-获取拦截器链-MethodInterceptor

摘要：33、[源码] AOP原理获取拦截器链 MethodInterceptor 阅读全文

posted @ 2018-12-01 23:31 Grand_Jon 阅读(292) 评论(1) 推荐(0)

12 2018 档案

公告

导航