听风是雨

2019年10月31日

摘要：分布式资源调度框架 Yet Another Resource Negotiator YARN 不同框架使用相同的系统资源 YARN的核心组件(架构) ResourceManager RM 整个集群同一时间提供服务的RM只有一个.负责集群资源的统一管理(生产上通常有其他副本节点) 处理客户端的请求 N 阅读全文

posted @ 2019-10-31 23:58 听风是雨阅读(181) 评论(0) 推荐(0)

Hadoop伪分布式环境安装

摘要：一.环境准备阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz 二. 安装步骤 1.确认JDK环境的安装位置命令 echo $JAVA_HOME 2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义) 命令 t 阅读全文

posted @ 2019-10-31 23:20 听风是雨阅读(2331) 评论(0) 推荐(0)

记一次Xshell配置ssh免密登录时的问题

摘要：问题: 今天在配置SSH免密登录连接自己的阿里云服务器,在将RSA加密生成的公钥放到服务器后,用Xshell连接服务,出现所选的用户密钥未在远程主机上注册这样的提示,一时懵逼,不知所措,后面终于找到了问题所在,此次笔记记录解决问题的过程一配置流程 1.使用Xshell工具RSA加密的方式生成秘钥对阅读全文

posted @ 2019-10-31 15:54 听风是雨阅读(2806) 评论(0) 推荐(0)

2019年10月30日

HDFS学习笔记二

摘要：文章来源于:https://blog.csdn.net/xuejingfu1/article/details/52554174 文件写入staging（分阶段进行）一个客户端的创建文件的请求并不直接会送达namenode；实际上，1.最初HDFS客户端会把数据缓存在本地的buffer中，2.应用的阅读全文

posted @ 2019-10-30 17:50 听风是雨阅读(194) 评论(0) 推荐(0)

HDFS学习笔记一

摘要：一,HDFS是什么,HDFS有什么用,HDFS怎么用 HDFS:Hadoop Distribute File System 分布式文件系统 HDFS可以保证文件存储的可靠性, 二.HDFS的设计原则 HDFS的设计目标: 1.存储非常大的文件通常的值的是G,TB级别的文件 2.采用流式的数据访问方阅读全文

posted @ 2019-10-30 17:17 听风是雨阅读(374) 评论(0) 推荐(0)

2019年10月29日

十万级百万级数据量的Excel文件导入并写入数据库

摘要：一.需求分析最近接到一个需求,导入十万级,甚至可能百万数据量的记录了车辆黑名单的Excel文件,借此机会分析下编码过程; 首先将这个需求拆解,发现有三个比较复杂的问题: 问题一:Excel文件导入后首先要被解析为存放对象的列表,数据量大的情况下可能会导致内存溢出,解析时间过长; 问题二:插入数据库阅读全文

posted @ 2019-10-29 20:49 听风是雨阅读(8283) 评论(4) 推荐(0)

2019年10月26日

Vue-基础(二)

摘要：一,Vue中的组件化开发: Vue中的组件也就是Vue实例组件类型: 通用组件(例如,表单,弹窗,布局类等) 业务组件(抽奖,机器分类) 页面组件(单页面开发程序的每个页面都是一个组件) 组件开发三部曲:声明,注册,使用二.slot插槽和 ref .$parent 1.插槽slot slot就是阅读全文

posted @ 2019-10-26 18:31 听风是雨阅读(322) 评论(0) 推荐(0)

2019年10月25日

【SpringBoot】Springboot1.5.9整合WebSocket

摘要：一.WebSocket介绍 1.WebSocket是什么? WebSocket是协议,是HTML5开始提供的基于TCP(传输层)的一种新的网络协议, 它实现了浏览器与服务器全双工(full-duplex)通信,即允许服务器主动发送消息给客户端 WebSocket 使得客户端和服务器之间的数据交换变得阅读全文

posted @ 2019-10-25 14:39 听风是雨阅读(884) 评论(0) 推荐(0)

2019年10月23日

Hadoop本地环境安装

摘要：一.服务器环境本人用的是阿里云的ECS的入门机器,配置1核2G,1M带宽,搭了个Hadoop单机环境,供参考 Linux发行版本:Centos7 JDK:阿里云镜像市场中选择JDK8 二.安装步骤 1.从镜像下载Hadoop安装包这里选择从国内镜像下载,我这里选择是hadoop-2.7.7版本阅读全文

posted @ 2019-10-23 16:39 听风是雨阅读(1428) 评论(0) 推荐(0)

Vue-基础(一)

摘要：一.Vue中的常用指令什么是指令? 指令就是vue中提供的一些对于页面和数据更为方便的操作, 指令就是以数据去驱动DOM行为的,简化DOM的操作常用指令 v-text / v-html :用于为标签内部赋值: 两者区别:v-text不能解析html标签.v-html可以解析html标签 v-if 阅读全文

posted @ 2019-10-23 01:11 听风是雨阅读(234) 评论(0) 推荐(0)

公告