05 2019 档案

Hadoop安全模式：Cannot create directory /tmp/hive/root/。。。。. Name node is in safe mode
摘要：Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.Rem ... 阅读全文
posted @ 2019-05-31 21:15 drl_blogs 阅读(3120) 评论(0) 推荐(0)
hive:级联累计报表查询
摘要：A,2015-01-08,5A,2015-01-11,15B,2015-01-12,5A,2015-01-12,8B,2015-01-13,25A,2015-01-13,5C,... 阅读全文
posted @ 2019-05-29 19:38 drl_blogs 阅读(668) 评论(0) 推荐(0)
Windows运行hadoop报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要：报错信息 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nat... 阅读全文
posted @ 2019-05-27 22:28 drl_blogs 阅读(1249) 评论(0) 推荐(0)
hadoop-HDFS-HA的详解
摘要：1 Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的，Hadoop1.x... 阅读全文
posted @ 2019-05-26 18:56 drl_blogs 阅读(3112) 评论(0) 推荐(0)
Linux：权限管理&rpm&yum
摘要：三种基本权限r 读权限（read）w 写权限（write）x 执行权限 （execute）权限说明所有者 所属组 其他人第1位：文件类型（d 目录，- 普通文件）第2-4位... 阅读全文
posted @ 2019-05-26 18:56 drl_blogs 阅读(736) 评论(0) 推荐(0)
HDFS上传下载的流程以及shuffle流程
摘要： 阅读全文
posted @ 2019-05-24 21:34 drl_blogs 阅读(240) 评论(0) 推荐(0)
MapReduce:共同好友详解
摘要：首先我们要使用的数据如下A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,... 阅读全文
posted @ 2019-05-24 15:25 drl_blogs 阅读(920) 评论(0) 推荐(0)
Linux:时间插件
摘要：安装时间插件yum –y install ntpdate更新时间ntpdate pool.ntp.org 阅读全文
posted @ 2019-05-22 23:39 drl_blogs 阅读(182) 评论(0) 推荐(0)
ssh 免密登录
摘要：首先在linux 上安装ssh的客户端yum -y install openssh-clients实现步骤在A机器(hadoop01)上生成密钥对：ssh-keygen将生成好... 阅读全文
posted @ 2019-05-22 23:37 drl_blogs 阅读(126) 评论(0) 推荐(0)
CentOS6.7：rpm安装mysql5.7
摘要：先到官方网站下载mysql链接地址上传到linux的root目录下安装链接地址： rpm -ivh mysql80-community-release-el6-2.noarch... 阅读全文
posted @ 2019-05-22 23:25 drl_blogs 阅读(569) 评论(0) 推荐(0)
hadoop安装
摘要：1 HADOOP安装部署上传HADOOP安装包规划安装目录 /usr/local/hadoop-2.7.3解压安装包修改配置文件 /usr/local/hadoop-2.7... 阅读全文
posted @ 2019-05-22 22:28 drl_blogs 阅读(137) 评论(0) 推荐(0)
zookeeper安装
摘要：注：以下所有安装默认是在spark01上执行！1. 解压并移动软件包（在所有节点执行）将zookeeper-3.4.6.tar.gz 解压缩，tar -zxvf zookeep... 阅读全文
posted @ 2019-05-22 21:56 drl_blogs 阅读(607) 评论(0) 推荐(0)
HA集群（高可用）安装部署
摘要：文章目录1 运行环境1软件环境2 安装准备2.1准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 配置时间同步2.5 配置ssh免秘登录2.6 安装jdk3 安装其他组件3... 阅读全文
posted @ 2019-05-22 21:47 drl_blogs 阅读(3863) 评论(1) 推荐(0)
centOS：常用命令
摘要：1.切换命令：cd 目录 （注意CD后要有空格） / 指的是根目录 …返回上一级目录 . 指的是当前目录2.查看普通文件命令：ls 查看全部文件（包括隐藏文件）命令：l... 阅读全文
posted @ 2019-05-17 14:14 drl_blogs 阅读(164) 评论(0) 推荐(0)
VM克隆后需要的配置
摘要：选择需要克隆的虚拟机，右键，管理->克隆点击下一步，看到如下页面，选择修改网络配置vi /etc/sysconfig/network-scripts/ifcfg-eth0删掉H... 阅读全文
posted @ 2019-05-17 08:55 drl_blogs 阅读(332) 评论(0) 推荐(0)
Centos jdk1.8安装
摘要：1.把tar包拖到CentOS,然后执行tar -zxvf jdk-8u131-linux-x64.tar.gz -C usr/loacl2.配置环境变量vi /etc/p... 阅读全文
posted @ 2019-05-16 19:31 drl_blogs 阅读(153) 评论(0) 推荐(0)
在IDEA中实战Git
摘要：工作中多人使用版本控制软件协作开发，常见的应用场景归纳如下：假设小组中有两个人，组长小张，组员小袁场景一：小张创建项目并提交到远程Git仓库场景... 阅读全文
posted @ 2019-05-10 15:25 drl_blogs 阅读(301) 评论(0) 推荐(0)
SpringBoot热部署
摘要：1.pom.xml添加 org.springframework.boot spring-boot-devtools ... 阅读全文
posted @ 2019-05-09 19:29 drl_blogs 阅读(157) 评论(0) 推荐(0)
CentOS 7.0 配置防火墙
摘要：启动 firewalld.servicesystemctl start firewalld.service把 xx 端口添加到防火墙开放端口中firewall-cmd --pe... 阅读全文
posted @ 2019-05-08 19:53 drl_blogs 阅读(139) 评论(0) 推荐(0)
CentOS7：【error】Failed to start firewalld.service: Unit firewalld.service is masked
摘要：解决方法systemctl unmask firewalld.service这样就解决了 阅读全文
posted @ 2019-05-08 19:50 drl_blogs 阅读(683) 评论(0) 推荐(0)
redis安装
摘要：1.下载redis2.解压redis3.进入redis的解压文件4.编译并安装$ wget http://download.redis.io/releases/redis-5.... 阅读全文
posted @ 2019-05-07 17:48 drl_blogs 阅读(101) 评论(0) 推荐(0)
YAML（yml）语法
摘要：标题基本语法值得写法字面量：普通的值（数字，字符串，布尔）对象、map（属性和值）（键值对）数组（List、Set）基本语法k: (空格)v:表示一堆键值对以空格缩进，控制层级... 阅读全文
posted @ 2019-05-07 11:44 drl_blogs 阅读(2530) 评论(0) 推荐(0)
npm常用命令
摘要：命令解释npm -v查看版本npm帮助说明npm search 包名搜索模块包npm install下载当前项目所依赖的包npm install 包名在当前目录安装包npm i... 阅读全文
posted @ 2019-05-04 18:44 drl_blogs 阅读(111) 评论(0) 推荐(0)
java8新特性：接口中的默认方法和静态方法
摘要：接口默认方法“类优先原则”若一个接口中定义了一个默认方法，另一个的父类或接口中又定义一个同名方法时：选择父类方法。如果一个父类提供了具体实现，那么，接口中具有同名称的方法和参数将会被忽略。示例：父类public class MyClass { public ... 阅读全文
posted @ 2019-05-03 12:42 drl_blogs 阅读(268) 评论(0) 推荐(0)
java8新特性：新的时间API
摘要：LocalDate、LocalTime、LocalDateTime类的实例是不可变的对象，分别表示使用ISO-8601日历系统的日期、时间、日期和时间。他们提供简单的日期和时间，并不包含与时区相关的信息。注：ISO-8601日历系统是国际化标准组织的现代公民... 阅读全文
posted @ 2019-05-03 12:21 drl_blogs 阅读(169) 评论(0) 推荐(0)
Java8新特性：工作窃取模式
摘要：什么是工作窃取模式当执行新的任务时，他可以拆分成更小的任务执行，并将小的任务加到线程中，然后再送一个随机的线程队列偷一个放到自己的队列中java8中Stream API可以申明性通过parallel()与sequential()在并行流与顺序流之间切换示例：... 阅读全文
posted @ 2019-05-03 11:53 drl_blogs 阅读(1332) 评论(0) 推荐(0)
Java8新特性：Lambda四大核心接口示例
摘要：import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.function.Consumer;import java.util.func... 阅读全文
posted @ 2019-05-02 20:47 drl_blogs 阅读(934) 评论(0) 推荐(0)
Java8新特性：Stream基本使用示例
摘要：实体类（示例用到的）：public class Employee { private int id; private String name; private int age; private double salary; public Employee()... 阅读全文
posted @ 2019-05-02 20:39 drl_blogs 阅读(463) 评论(0) 推荐(0)
Java8新特性：Stream介绍和总结
摘要：什么式Stream流（Stream）是数据渠道，用于操作数据源（集合、数组等）所生成的元素序列。集合讲的是数据，流讲的是计算注意：Stream自己不会存储元素Stream不会改变源对象。相反，他会返回一个持有结果的新StreamStream操作是延迟执行的。... 阅读全文
posted @ 2019-05-02 20:25 drl_blogs 阅读(3108) 评论(0) 推荐(1)
Java8新特性：Lambda——方法引用与构造器引用
摘要：方法引用当要传递给Lambda体的操作，已经有实现的方法，就可以使用方法引用！实现抽象方法的参数列表，必须与方法引用方法的参数列表保持一致方法引用使用操作符“::”将方法名和对象或者类的名字分隔开来。三种使用情况：对象::实例方法类::静态方法类::实例方法... 阅读全文
posted @ 2019-05-02 15:24 drl_blogs 阅读(1477) 评论(0) 推荐(0)
Java8新特性：Lambda——函数式接口
摘要：什么式函数式接口只包含一个抽象方法的接口，称为函数式接口可以在任意函数式接口上使用@FunctionalInterface注解，这样可以检查是否是函数式接口，同时javadoc也会包含一条声明，说明这个接口是函数式接口 阅读全文
posted @ 2019-05-02 15:00 drl_blogs 阅读(165) 评论(0) 推荐(0)
Java8新特性：Lambda简介和语法
摘要：Lambda是什么？Lambda是一个匿名函数，我们可以把Lambda表达式理解为是一段可以传递的代码（将代码像数据一样传递）。可以写出更简洁、更灵活的代码。作为一种更紧凑的代码风格，使java的语言表达能力得到了提升Lambda表达式语法Lambda表达式... 阅读全文
posted @ 2019-05-02 14:28 drl_blogs 阅读(1004) 评论(0) 推荐(0)
Spring Data：利用JpaSpecificationExecutor做复杂查询
摘要：1.首先让我们的接口继承于JpaSpecificationExecutorpublic interface TaskDao extends JpaSpecificationExecutor{}2.JpaSpecificationExecutor提供了以下接口... 阅读全文
posted @ 2019-05-01 15:50 drl_blogs 阅读(4147) 评论(0) 推荐(0)
Spring Data：JpaRepository接口
摘要：JpaRepository继承PaginAndSortingRespositoryJpaRepository中的方法findAllfindAll(Sort sort)save(entities)flushdeleteInBatch(entities) ... 阅读全文
posted @ 2019-05-01 15:26 drl_blogs 阅读(117) 评论(0) 推荐(0)
Spring Data：PaginAndSortingRespository接口使用
摘要：PaginAndSortingRespository接口包含分页和排序的功能带排序的查询：findAll(Sort sort)带排序的分页查询： findAll(Pageable pageable)带排序的分页查询的示例：Sort.Order order=n... 阅读全文
posted @ 2019-05-01 15:19 drl_blogs 阅读(170) 评论(0) 推荐(0)
Spring Data：CrudRepository接口使用详情
摘要：CrudRepository中的方法save(entity):添加一条数据save(entities)：添加多条数据entities为集合findOne(id)：根据id查询一条数据exists(id)：判断id是否存在findAll()：查询全部数据del... 阅读全文
posted @ 2019-05-01 14:52 drl_blogs 阅读(2478) 评论(0) 推荐(0)
Spring Data：更新及删除操作事务的使用
摘要：@Modifying 结合@Query注解执行更新操作事务应该添加在Service中，而添加事务的注解是@Transactional,所以只需要在需要添加事务的方法上加上@Transactional就好了 阅读全文
posted @ 2019-05-01 14:44 drl_blogs 阅读(554) 评论(0) 推荐(0)
Spring Data：Query注解使用
摘要：在Respository方法中使用，不需要遵循查询方法命名规则只需要将@Query定义在Respository中的方法之上即可在@Query注解中可以写SQL语句 阅读全文
posted @ 2019-05-01 14:38 drl_blogs 阅读(306) 评论(0) 推荐(0)
Spring Data：Repository类
摘要：Repository类的定义：public interface Repository {}1）Repository是一个空接口，标记接口没有包含方法声明的接口2）如果我们自己的接口没有extends Repository，运行时会报错：org.springf... 阅读全文
posted @ 2019-05-01 14:33 drl_blogs 阅读(448) 评论(0) 推荐(0)