08 2019 档案
摘要:一、概述 在实际开发中,我们写好的代码,往往打成war包或jar包,通过winscp或其他软件将其上传至服务器,然而这样非常大的一个弊端就是不利于开发,为什么这么说呢?假如我们刚刚将springboot项目达jar包通过winscp部署在linux系统中,然而各种突如其来、意想不到的bug接踵而来,
阅读全文
摘要:一、将war包丢进webapps 这是最简单粗暴的方式:将web工程打成war,丢进tomcat/webapps目录即可,tomcat会自动解压。无需修改任何配置文件即可完成部署。 这里我准备了tomcat8.5.43与dubbo控制台的war包来做测试。 ①启动tomcat ②将war丢进weba
阅读全文
摘要:一、部署Web工程的几种方式 ①本地打war,上传至远程服务器tomcat容器即可 优点:简单粗暴 缺点:浪费时间 ②IDEA自动部署至远程服务器 优点:节省大量时间 缺点:配置稍多(第一次) 二、IDEA自动部署至远程服务器 ①搭建服务器的tomcat环境 ②本地IDEA关联远程服务器 打开IDE
阅读全文
摘要:一、案例准备 create table dept( id int primary key auto_increment, name varchar(20) ); insert into dept values(null, '财务部'); insert into dept values(null, '
阅读全文
摘要:一、概述 ①Flume最早是由Cloudera提供的日志收集系统,后贡献给apache。 ②Flume是一个高可用、高可靠、健壮性,分布式的海量日志采集、聚合和传输的系统。 ③Flume支持在日志系统中定制各类数据发送方,用于收集数据(source)。 ④Flume提供对数据进行简单处理,并写到各种
阅读全文
摘要:一、dubbo-admin dubbo-admin是dubbo的控制台web程序,可以利用浏览器对dubbo进行性能监控、服务治理、降级、分组以及一些参数的设置。2.6版本及以前打包后是一个war包,可以直接部署到tomcat等容器;2.7版本以后名字叫incubator-dubbo-ops,它是由
阅读全文
摘要:由于目前在工作中一直用的dom4j+反射实现bean与xml的相互转换,记录一下,如果有不正确的地方欢迎大家指正~~~ 一、反射机制 在此工具类中使用到了反射技术,所以提前也看了一些知识点,例如:http://www.51gjie.com/java/82(这里面有大量的例子可以学习) 二、dom4j
阅读全文
摘要:纠结了好久,还是花钱了3个4核8G的阿里云主机,且行且珍惜,想必手动搭建过Hadoop集群的完全分布式、HBase的完全分布式的你(当然包括我,哈哈),一定会抱怨如此多的配置,而此时CDH正是解决我们烦恼的时候。 下面安装过程比较长,所以一定要有耐心。 一、CDH介绍 以下是官网给的介绍:个人感觉就
阅读全文
摘要:设想一个场景:假如让你给1000台服务器装系统,你会怎么做?跑去每一台服务器给它安装系统吗?显然不会。。 一、概括 通过网络引导系统的做法可以不必从硬盘、软盘或CD-ROM硬盘,而是完全通过网络来引导一台计算机。这对于安装来说非常方便,因为它意味着你可以坐在桌子旁边,不必走到机器那里插入CD-ROM
阅读全文
摘要:一、MySQL的安装 Hive的数据,是存在HDFS里的。此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息。 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储。即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库
阅读全文
摘要:一、安装说明 ①下载mysql的安装包 我这里已经放入网盘:https://pan.baidu.com/s/1Orl71Tk9J-TIznGaJuldhQ https://pan.baidu.com/s/1ElUU4mg0SBlupfUantu5yA ②确认当前环境是否安装过mysql rpm -q
阅读全文
摘要:一、Hive安装 Hive的安装相对比较简单,Hive是基于Hadoop来使用的,所以搭建Hadoop伪分布式或完全分布式即可,Hive安装过程如下: ①安装并启动Hadoop 在博主的其他博客中有安装说明:Hadoop之伪分布式安装 ②获取Hive安装包,并解压 下载地址:https://mirr
阅读全文
摘要:一、数据库和数据仓库 二、OLTP和OLAP对比 ①OLTP(OnLine Transaction Processing)和OLAP(OnLine Analytical Processing) 数据库属于OLTP系统(联机事务处理系统),覆盖了企业大部分的日常操作,比如:购物、库存、银行、工资、记账
阅读全文
摘要:一、Hive介绍 Apache官网给出的logo,一半是Hadoop大象的头,一半是蜜蜂的身体,也是寓意着它是基于Hadoop,哈哈,纯属个人理解,进入正题。 Hive是基于Hadoop的一个数据仓库工具,可以将sql语句转换成MapReduce任务来运行。可以用来数据提取、转化、加载(ETL),这
阅读全文
摘要:一、HBase的安装模式 ①单机安装:不依赖于Hadoop的HDFS,配置完即可使用,好处是便于测试,坏处是不具备分布式数据存储的能力。 ②伪分布式安装:单台主机模拟真实环境。 ③完全分布式安装:多台主机(虚拟机)来搭建 二、搭建准备 ①搭建Hadoop+JDK+ZooKeeper(3个zookee
阅读全文
摘要:阅读声明:以下内容是结合网上材料及工作内容所写的个人理解,如有不当,欢迎大家指正~~~谢谢啦 一、ZooKeeper的选举机制、FailOver机制 我们知道ZooKeeper在分布式环境中协调服务,如果宕机,那么整体的协调服务失效,所以单台ZooKeeper存在单点故障问题,由此我们引入ZooKe
阅读全文
摘要:阅读声明:以下内容是结合网上材料所写个人理解,如有不当,欢迎大家指正~~~谢谢 一、Zookeeper介绍 zookeeper,见名知意嘛,zoo动物园,keeper保持者、管理员,结合起来就是动物管理员,为什么这么说呢?不放大家可以看一看目前大数据技术:比如Hadoop的logo是一个黄色的大象、
阅读全文