随笔档案「2018年6月」 - meiLinYa

摘要：MapReduce的倒排索引索引：什么是索引：索引（Index）是帮助数据库高效获取数据的数据结构。索引是在基于数据库表创建的，它包含一个表中某些列的值以及记录对应的地址，... 阅读全文

posted @ 2018-06-29 14:14 meiLinYa 阅读(152) 评论(0) 推荐(0)

摘要：前言本文是在讲述什么样的数据结构适合作为索引，以及其适合作为索引的原因。而阅读本文需要对B树和B+树结构有稍微的理解。以及需要对磁盘操作知识有稍微的了解。对于磁盘操作的相关知识，在文章尾部的链接文章中，有详细的介绍。在MySQL中，主要有四种类型的索引，分别为：B-T... 阅读全文

posted @ 2018-06-29 11:19 meiLinYa 阅读(228) 评论(0) 推荐(0)

MapReduce(五)

摘要：MapReduce的（五）1.MapReduce的多表关联查询。根据文本数据格式。查询多个文本中的内容关联。查询。2.MapReduce的多任务窜执... 阅读全文

posted @ 2018-06-29 11:10 meiLinYa 阅读(222) 评论(0) 推荐(0)

彻底理解MapReduce shuffle过程原理

摘要：彻底理解MapReduce shuffle过程原理MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转... 阅读全文

posted @ 2018-06-28 17:00 meiLinYa 阅读(401) 评论(0) 推荐(0)

MapReduce(四)

摘要：MapReduce(四) 1.shuffle过程 2.map中setup,map,cleanup的作用。一.shuffle过程 https://blog.... 阅读全文

posted @ 2018-06-28 16:25 meiLinYa 阅读(159) 评论(0) 推荐(0)

ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2

摘要：报错，但不影响运行ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2eclipse 3.4+jdk1.6编译正常通过，运行debug模式时报错ERROR: JDWP... 阅读全文

posted @ 2018-06-28 09:25 meiLinYa 阅读(486) 评论(0) 推荐(0)

MapReduce(三)

摘要：MapReduce(三)MapReduce(三)： 1.关于倒叙排序前10名 1）TreeMap根据key排序 2）TreeSet排序,传入一个对... 阅读全文

posted @ 2018-06-27 11:57 meiLinYa 阅读(198) 评论(0) 推荐(0)

CompareTo 基于的排序算法

摘要：CompareTo 基于的排序算法(高级排序) 这个是今天学习MapReduce时发现的，自定义类后实现了WritableComparable接口后实现了接口中的co... 阅读全文

posted @ 2018-06-26 21:47 meiLinYa 阅读(392) 评论(0) 推荐(0)

MapReduce- 数据的排序处理

摘要：MapReduce- 数据的排序处理package com.huhu.day02;import java.io.DataInput;import java.io.DataOutput;import java.io... 阅读全文

posted @ 2018-06-26 20:19 meiLinYa 阅读(393) 评论(0) 推荐(0)

MapReduce（二）

摘要：MapReduce（二）mapreduce 将Text转化为对象进行处理数据。根据一来说，将date，classname，name，subject，score变为对象属性我的数据是... 阅读全文

posted @ 2018-06-26 19:31 meiLinYa 阅读(171) 评论(0) 推荐(0)

MapReduce--平均分，最高，低分以及及格率的计算

摘要：MapReduce--平均分，最高，低分以及及格率的计算计算班级的平均分，以及个人的最高最低分，以及每个班级的及格率。来先看一下我的数据。时间班级姓名科目成绩20180501 1708a1 li ... 阅读全文

posted @ 2018-06-26 14:23 meiLinYa 阅读(788) 评论(0) 推荐(0)

MapReduce(一)

摘要：MapReduce(一)一。介绍百度百科： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它... 阅读全文

posted @ 2018-06-25 21:22 meiLinYa 阅读(194) 评论(0) 推荐(0)

fatal: refusing to merge unrelated histories

摘要：fatal: refusing to merge unrelated histories（git上传失败）输入命令：git pull origin master --allow-unrelated-histories这是因为远程仓库or... 阅读全文

posted @ 2018-06-25 11:25 meiLinYa 阅读(103) 评论(0) 推荐(0)

IDEA上传一个项目到github

摘要：IDEA上传一个项目到github只要3步1.2.3.4.5.查看页面上传成功。。。详情： https://blog.csdn.net/qq_27093465/article/details/7608087... 阅读全文

posted @ 2018-06-25 10:45 meiLinYa 阅读(179) 评论(0) 推荐(0)

IDEA上传一个项目到github

摘要：IDEA上传一个项目到github一。idea的配置1.打开idea设置setting2.点击ok，然后添加一个git创库3.选择你所要上传的项目，然后项目会变红4.添加到git此时项目变绿6.提交到本地... 阅读全文

posted @ 2018-06-25 08:45 meiLinYa 阅读(545) 评论(0) 推荐(0)

Git的安装

摘要：Git的安装1.进入https://git-scm.com/2.下载好安装包点击安装。3.选择放到本地磁盘4.next，创建桌面快捷方式5。-->next6.完成7... 阅读全文

posted @ 2018-06-24 21:13 meiLinYa 阅读(112) 评论(0) 推荐(0)

Hibernate 加载策略得总结

摘要：Hibernate 加载策略得总结加载策略(优化查询)：策略种类: 延迟加载: 等到使用的时候才会加载数据. 立即加载: 不管使用不使用,都会立刻将数据加载. 策略的应用: 类级别的加载策... 阅读全文

posted @ 2018-06-24 19:58 meiLinYa 阅读(140) 评论(0) 推荐(0)

hadoop -- fsck

摘要：hadoop -- fsck shell命令： hdfs fsck /1708a1 -files -blocks -locations -racks /1708a1:是hdfs 中的文件查看hdf... 阅读全文

posted @ 2018-06-20 17:04 meiLinYa 阅读(208) 评论(0) 推荐(0)

Hibernate -- lazy加载

摘要：Hibernate -- lazy加载hibernate类级别懒加载： lazy：true（默认）//类级别懒加载 //load方法 //... 阅读全文

posted @ 2018-06-19 10:24 meiLinYa 阅读(153) 评论(0) 推荐(0)

java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().

摘要：java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataSource.close().java.lang.Exception: DEBUG STACK TRACE for PoolBackedDataS... 阅读全文

posted @ 2018-06-18 20:23 meiLinYa 阅读(1170) 评论(0) 推荐(0)

NOSQL -- Mongodb的简单操作与使用(win10)

摘要：NOSQL -- Mongodb的简单操作与使用(wins)MongoDB 创建集合： db.createCollection(name, options)use huhudb.createCollection("h... 阅读全文

posted @ 2018-06-18 19:54 meiLinYa 阅读(187) 评论(0) 推荐(0)

java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).

摘要：java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).java.sql.SQLException: Parameter index out ... 阅读全文

posted @ 2018-06-14 21:01 meiLinYa 阅读(11009) 评论(3) 推荐(0)

org.apache.ibatis.reflection.ReflectionException: There is no getter for property named 'list' in 'c

摘要：org.apache.ibatis.reflection.ReflectionException: There is no getter for property named 'list' in 'class com.bw.yun.pojo.Page'报了这个错。今... 阅读全文

posted @ 2018-06-14 00:56 meiLinYa 阅读(232) 评论(0) 推荐(0)

java.sql.SQLException: Parameter index out of range (1 > number of parameters, which is 0).

摘要：java.sql.SQLException: Parameter index out of range (1 > number of parameters, which is 0). at com.mysql.jdbc.SQLError.createSQLExcept... 阅读全文

posted @ 2018-06-13 09:07 meiLinYa 阅读(6820) 评论(0) 推荐(1)

-bash: /etc/init.d/nginx: /bin/bash^M: bad interpreter: No such file or directory

摘要：-bash: /etc/init.d/nginx: /bin/bash^M:bad interpreter: No such file or directory这个使为了弄nginx自启的，然后在官网找了个shell脚本发现不行啊。。。。。。找啊找。。。。解决vi /... 阅读全文

posted @ 2018-06-12 18:27 meiLinYa 阅读(1510) 评论(0) 推荐(0)

Linux -- 基于zookeeper的java api(二)

摘要：Linux -- 基于zookeeper的java api(二)写一个关于基于集群的zookeeper的自定义实现HA 基于客户端和监控器：使用监控的方法查看每个注册过的节点的状态来做出操作。Watch：监控端p... 阅读全文

posted @ 2018-06-12 16:02 meiLinYa 阅读(203) 评论(0) 推荐(0)

NOSQL -- Mongodb的简单操作与使用(wins)

摘要：NOSQL -- Mongodb的简单操作与使用(wins)启动mongodb： 1.首先启动服务dos命令下：net start Mongndb 也可以查询服务，手动开启服务：完成后： 2.启... 阅读全文

posted @ 2018-06-12 14:01 meiLinYa 阅读(263) 评论(0) 推荐(0)

NOSQL -- mongoDB的了解与安装(Wins10)

摘要：NOSQL -- mongoDB的了解与安装首先看看什么是nosql：我的理解：非关系型数据库，大多是以map形式存储，map，适合存储，查询。redis也是nosql。mongobd： ... 阅读全文

posted @ 2018-06-12 12:51 meiLinYa 阅读(420) 评论(0) 推荐(0)

Linux -- 基于zookeeper的java api(一)

摘要：Linux -- 基于zookeeper的java api首先启动你所有的zkService.sh 查看状态：检查是否启动正确[root@hu-hadoop2 ~]# zkServer.sh st... 阅读全文

posted @ 2018-06-12 11:16 meiLinYa 阅读(180) 评论(0) 推荐(0)

linux -- 基于zookeeper搭建yarn的HA高可用集群

摘要：linux -- 基于zookeeper搭建yarn的HA高可用集群实现方式：配置yarn-site.xml配置文件 yarn.resourcemanager.con... 阅读全文

posted @ 2018-06-11 23:20 meiLinYa 阅读(1095) 评论(0) 推荐(0)

Linux -- 之HDFS实现自动切换HA（全新HDFS）

摘要：Linux -- 之HDFS实现自动切换HA（全新HDFS）JDK规划 1.7及以上 https://blog.csdn.net/meiLin_Ya/article/details/80650945防火墙... 阅读全文

posted @ 2018-06-11 20:24 meiLinYa 阅读(467) 评论(0) 推荐(0)

Hadoop格式化 From hu-hadoop1/192.168.11.11 to hu-hadoop2:8485 failed on connection exception: java.net.

摘要：192.168.11.12:8485: Call From hu-hadoop1/192.168.11.11 to hu-hadoop2:8485 failed on connection exception: java.net.ConnectException: C... 阅读全文

posted @ 2018-06-11 19:12 meiLinYa 阅读(683) 评论(0) 推荐(0)

Directory /home/hdfs/name is in an inconsistent state: storage directory does not exist or is not a

摘要：2018-06-11 17:50:36,896 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimageorg.apache.hado... 阅读全文

posted @ 2018-06-11 19:07 meiLinYa 阅读(533) 评论(0) 推荐(0)

Linux下zoopkeeper的安装和启动

摘要：Linux下zoopkeeper的安装和启动1.什么是zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供... 阅读全文

posted @ 2018-06-11 16:37 meiLinYa 阅读(316) 评论(0) 推荐(0)

Linux下zoopkeeper的安装和启动

摘要：Linux下zoopkeeper的安装和启动 1.什么是zookeeper 。 Zookeeper的ZAB协议和Paxos协议二阶段提交和三阶段提交协议和Paxos协议都是分布式应用程序的通用协议，即在大部分的分布式应用程序中都可以使用。ZAB（zookeeper Atomic Broadcast 阅读全文

posted @ 2018-06-11 16:37 meiLinYa 阅读(966) 评论(0) 推荐(0)

Linux下切换使用两个版本的JDK

摘要：Linux下切换使用两个版本的JDK我这里原来已经配置好过一个1.7版本的jdk。输出命令: java -version[root@hu-hadoop1 sbin]# java -versionjava versi... 阅读全文

posted @ 2018-06-11 13:21 meiLinYa 阅读(1432) 评论(1) 推荐(0)

使用CSDN-markdown编辑器

摘要：欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markd... 阅读全文

posted @ 2018-06-11 13:01 meiLinYa 阅读(105) 评论(0) 推荐(0)

如何在Linux中tomcat下运行一个web项目

摘要：如何在Linux中tomcat下运行一个web项目然后启动Tomcat项目。运行的运行后会自动将war包解压。如果页面报404，那么请查看tomcat日志文件，它一定是报错了。。。。阅读全文

posted @ 2018-06-10 21:07 meiLinYa 阅读(420) 评论(0) 推荐(0)

Linux下Tomcat项目启动报错

摘要：Linux下Tomcat项目启动报错org.springframework.beans.factory.CannotLoadBeanClassException: Error loading class [com... 阅读全文

posted @ 2018-06-10 20:59 meiLinYa 阅读(1284) 评论(0) 推荐(0)

IDEA配置tomcat

摘要：IDEA配置tomcat然后就可以运行了。ok！！阅读全文

posted @ 2018-06-10 17:27 meiLinYa 阅读(159) 评论(0) 推荐(0)

IDEA如何导入一个web+maven以及如何运行项目

摘要：IDEA如何导入一个web+maven以及如何运行项目然后就可以运行你的maven项目了。。。。阅读全文

posted @ 2018-06-10 17:17 meiLinYa 阅读(1497) 评论(0) 推荐(0)

Linux下的Nginx的配置+Tomcat启动

摘要：Linux下的Nginx的配置首次如果你只仅主机模式，那么请你切换到桥接模式或者net模式。 1.安装编译工具及库文件yum -y install make zlib zlib-devel gcc-c... 阅读全文

posted @ 2018-06-08 21:49 meiLinYa 阅读(3384) 评论(0) 推荐(0)

Linux系统下tomcat的配置

摘要：Linux系统下tomcat的配置完成后可以输入命令查看日志文件：最后进入网页测试下吧：可以出来这个网页就好了阅读全文

posted @ 2018-06-08 17:22 meiLinYa 阅读(182) 评论(0) 推荐(0)

Caused by: java.io.FileNotFoundException: class path resource [spring/springmvc.xml] cannot be opene

摘要：Caused by: java.io.FileNotFoundException: class path resource [spring/springmvc.xml] cannot be opened because it d... 阅读全文

posted @ 2018-06-07 21:31 meiLinYa 阅读(1711) 评论(0) 推荐(0)

IDEA快捷键

摘要：IDEA快捷键 IDEA快捷键学习：打代码时总结。实用 ctrl+alt+v ：为变量赋值ctrl+/：单行注释 ctrl+alt+l：自动缩行ctrl+x:删除一行ctrl+d：复制一行ct... 阅读全文

posted @ 2018-06-07 21:14 meiLinYa 阅读(252) 评论(0) 推荐(0)

eclipse初学者的使用

摘要：eclipse的使用字体设置：设置环境字符：设置背景颜色寻找窗口：java JDK的配置：配置自动提示：适合... 阅读全文

posted @ 2018-06-07 11:14 meiLinYa 阅读(251) 评论(0) 推荐(0)

Utils--Cookie工具类

摘要：Utils--Cookie工具类阅读全文

posted @ 2018-06-07 10:09 meiLinYa 阅读(331) 评论(0) 推荐(0)

Utils--前台调用后台接口工具类

摘要：Utils--前台调用后台接口工具类好久之前写的，今天忽然有个想法，把这些工具类总计下。以便以后的使用阅读全文

posted @ 2018-06-07 10:08 meiLinYa 阅读(519) 评论(0) 推荐(0)

Utils--字符串的帮助类

摘要：Utils--字符串的帮助类一个关于字符串过滤的工具类，主要时针对username和password的过滤阅读全文

posted @ 2018-06-07 10:02 meiLinYa 阅读(170) 评论(0) 推荐(0)

Hibernate---缓存

摘要：Hibernate 缓存(更深层次理解hibernate中对象的操作) 作用：提高效率。一级缓存：示意图：线程级别缓存session缓存，代碼来说事 session中的快照：结果：总结：二级缓存：进程级别的缓存:Hibernate二级缓存阅读全文

posted @ 2018-06-06 23:45 meiLinYa 阅读(144) 评论(0) 推荐(0)

MYSQL--三大范式

摘要：MYSQL--三大范式范式简介：范式简介：设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BC 阅读全文

posted @ 2018-06-06 19:15 meiLinYa 阅读(273) 评论(0) 推荐(0)

Hadoop---集群之MySQL的安装

摘要：Hadoop 集群之MySQL的安装一：二：三：四：五：六：七：八：修改数据库字符：解决中文乱码问题，mysql默认为latin1，我们要修改为utf-8 1> 2>然后我们做修改：-->首先我们需要建一个文件夹mysql在 /etc/ -->然后将 /usr/sharemysql 阅读全文

posted @ 2018-06-06 11:53 meiLinYa 阅读(258) 评论(0) 推荐(0)

Hibernate---对象的三种状态

摘要：Hibernate 对象的三种状态简而言之，hibernate本就是面向对象的基于ORM的框架，位于dao层，对数据进行操作的框架。我就谈谈hibernate的对象的三种状态。他们分别为：游离，持久和瞬时。通过代码来详解一下吧。 hibernate.cgf.xml user.hbm.xml Use 阅读全文

posted @ 2018-06-06 08:35 meiLinYa 阅读(195) 评论(0) 推荐(0)

Hadoop--之RPC开发

摘要：Hadoop--之RPC开发介绍：百度百科:　RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，R 阅读全文

posted @ 2018-06-06 00:30 meiLinYa 阅读(281) 评论(0) 推荐(0)

Hadoop---Exception in thread "main" java.lang.NullPointerException问题的解决

摘要：Exception in thread "main" java.lang.NullPointerException问题的解决解决：首先我们来分析下这个问题，我是使用debug测试看哪里是空的。然后跑去百度了一下，发现好像是关于环境没有配置啊！！！给出两种解决方案： 1.在代码的第一行加 2. 阅读全文

posted @ 2018-06-05 00:44 meiLinYa 阅读(929) 评论(0) 推荐(0)

Hadoop---Java-API对HDFS的操作

摘要：Java-API对HDFS的操作哈哈哈哈，深夜来一波干货哦！！！ Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。首先来介绍下如何将java代码和HDFS联阅读全文

posted @ 2018-06-05 00:44 meiLinYa 阅读(589) 评论(0) 推荐(0)

MYSQL--服务器的安装

摘要：MYSQL--服务器的安装学java已经好久了，但是还是没有学会安装数据库，这次重装系统后自己学了学，昨天晚上刚刚装好，卸载了，再装一次，就想着把它笔记下来。要不又忘了。。 1.删除你的服务。在cmd中输入net stop mysql //停止服务 sc delete mysql//删除服务（这里阅读全文

posted @ 2018-06-04 07:09 meiLinYa 阅读(315) 评论(0) 推荐(0)

Hadoop---hu-hadoop1: mv: cannot stat `/home/bigdata/hadoop-2.6.0/logs/hadoop-root-datanode-hu-hadoop1.out.4': No such file or directory

摘要：hu-hadoop1: mv: cannot stat `/home/bigdata/hadoop-2.6.0/logs/hadoop-root-datanode-hu-hadoop1.out.4': No such file or directory 看了好久没发现。。。。后来删了个东西就好了阅读全文

posted @ 2018-06-03 13:33 meiLinYa 阅读(2475) 评论(1) 推荐(0)

Hadoop---18/06/03 20:15:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons

摘要：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemon 阅读全文

posted @ 2018-06-03 12:43 meiLinYa 阅读(225) 评论(0) 推荐(0)

Hadoop--Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost]

摘要：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] hadoop初学者：哈哈哈哈阅读全文

posted @ 2018-06-02 19:14 meiLinYa 阅读(388) 评论(0) 推荐(0)

Shelld5的使用

摘要：Shelld的连接7步 · · huhu_k: 想和你相遇。阅读全文

posted @ 2018-06-02 16:22 meiLinYa 阅读(196) 评论(0) 推荐(0)

Hadoop--单点故障修复

摘要：nameNode单点故障修复 1.启动虚拟机，启动集群此时我们将主机hadoop1关机(断掉主机)，开始抢救： 1.使用秘书(secondaryNameNode)，成功率不是100% (这里我们把hadoop44作为新的nameNode) 2.zookeeper第三方代替方法一secondar 阅读全文

posted @ 2018-06-02 14:33 meiLinYa 阅读(941) 评论(0) 推荐(0)

Hadoop---静动态增删节点

摘要：静动态增删节点初始：这是我现在的集群重新克隆一个虚拟机： hadoop44:datanode(静态增加，删除和动态删除) hadoop55:datanode（动态hdfs添加，yarn动态增删）静态添加： 1）修改hosts文件，让主可以认识它 vi /etc/hosts 2）设置无密码访问阅读全文

posted @ 2018-06-01 20:06 meiLinYa 阅读(927) 评论(0) 推荐(0)

Hadoop---集群的时间同步

摘要：集群的时间同步(使用插件使从机和主机时间一致) 集群保障时间一致共有3个方法 1.手工的改 date –s “2016-01-05” 2.启动service NTP 3.基于实体机 7*24 不关机用脚本在规定时间同步达到时间同步完美我这里只使用插件的方法，使从机和主机时间同步。。。。。。。阅读全文

posted @ 2018-06-01 17:33 meiLinYa 阅读(674) 评论(0) 推荐(0)

Hadoop---日志服务器

摘要：Hadoop 日志服务器 1.历史服务器：启动： 1）测试使用： 1.做一个任务： 2.接受任务： 3.执行任务： 4.执行任务完成： 2）日志文件产生：成功后：失败后：点击进入History,查看日志报错 3）页面：只能记录以java开发程序。 2.ApplicationHistoryS 阅读全文

posted @ 2018-06-01 10:27 meiLinYa 阅读(589) 评论(0) 推荐(0)

Hadoop---桥接集群的搭建

摘要：Hadoop 桥接群的搭建集群分配：(一主四从) 我电脑的虚拟机：hadoop4:namenode+datanode+resourceManager 我one-friend的电脑虚拟机：hml-1:datanode+datamanager 我two-friend的电脑虚拟机：hadoop_yu1: 阅读全文

posted @ 2018-06-01 08:32 meiLinYa 阅读(506) 评论(0) 推荐(0)