03 2018 档案

Dubbo
摘要：1. 教程大纲 1、 了解什么是dubbo 2、 我们使用dubbo能做什么 3、 Dubbo快速入门案例 4、 Dubbo监控、admin控制台 参考资料： http://dubbo.io/ https://www.gitbook.com/@dubbo Dubbo项目GitHub主页： https 阅读全文
posted @ 2018-03-21 22:52 猴子1 阅读(313) 评论(0) 推荐(0)
java 反射
摘要：反射是框架设计的灵魂 （使用的前提条件：必须先得到代表的字节码的Class，Class类用于表示.class文件（字节码）） 一、反射的概述 JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动 阅读全文
posted @ 2018-03-21 15:59 猴子1 阅读(90) 评论(0) 推荐(0)
Redis 3.0 集群
摘要：Redis 3.0 提供了集群机制 集群没有中心几点，，主节点之间是两两相连（意味着他们有着频繁的网络IO，所以当集群数量不多时可以使用3.0的集群特性，反之就按需求适当是使用Redis主从+Sentinel或Twemproxy代理） 当Redis集群一启动就会默认启动6个几点，3个为主节点，3个为 阅读全文
posted @ 2018-03-15 17:32 猴子1 阅读(147) 评论(0) 推荐(0)
Twemproxy
摘要：Redis可以使用主从复制+Sentinel解决读写分离和HA 可是读的性能问题解决了，写的并没有 本偏的Twemproxy可以解决（Redis 3.0以后拥有集群机制也可以解决此问题） 可以设置权重，分配Redis服务器对客户端的请求量 配置： auto_eject_hosts:true 服务器下 阅读全文
posted @ 2018-03-15 16:11 猴子1 阅读(295) 评论(0) 推荐(0)
Redis集群 主从复制、Sentinel
摘要：主+从的模式 一主多从 主可以读写 从只能读 从启动时会向主同步数据，主没有，从也会没有（一切以主服务器数据为主） 创建、配置： Sentinel（哨兵）：监控主从，当主挂掉时，将一个从变成主，并把所有从指向新主 Sentinel可以配置成分布式的，以防Sentinel挂掉，多个Sentinel之间 阅读全文
posted @ 2018-03-15 14:35 猴子1 阅读(103) 评论(0) 推荐(0)
ZK实现HA和负载均衡
摘要：思路： zk做路由，client从zk那里拿到可用的server地址（最好这里做个缓存），通过自己的负载均衡算法得到要连接的地址，client去连接指定server， server要做的是，当server启动后去zk注册自己（创建临时文件），子节点变化 当某台server宕机，server与zk的链 阅读全文
posted @ 2018-03-14 12:33 猴子1 阅读(613) 评论(0) 推荐(0)
Spark计算关键字出现的次数 Java形式
摘要：数据源： Java代码： 结果： 阅读全文
posted @ 2018-03-13 15:29 猴子1 阅读(263) 评论(0) 推荐(0)
RPC协议简单实现
摘要：RPC协议：像调用本地服务一样调用远程服务，可以做进程间通讯和远程控制 代码实现： 阅读全文
posted @ 2018-03-07 10:27 猴子1 阅读(312) 评论(0) 推荐(0)
ZK 分布式锁
摘要：通俗的解释：类似与生活中的排队，所有人都向前一个人看（前面有没有人，他在未获得锁之前有有没走，走了就在向前看一个，一直观察这个，直至得到锁），如果自己的前面没有人，那么自己是第一个（获得锁），获得锁的人，事没做完，锁是不会被解开的，其他人只能等待，直至结束，锁解开，下一个人获得锁 百度了张图（侵权请 阅读全文
posted @ 2018-03-06 16:39 猴子1 阅读(156) 评论(0) 推荐(0)
ZK 监控HDFS HA原理
摘要：一般HDFS的NN有两个，工作的只有一个，当一个挂掉时，另一个启动，来代替它，原理是利用ZK的临时ZNode 原理：当HDFS的两台NN启动时，ZKFC（Zookeeper FailoverController）也会启动，ZKFC会向ZK上写一个临时序列化的节点（默认节点名是：/hadoop-ha） 阅读全文
posted @ 2018-03-06 13:43 猴子1 阅读(381) 评论(0) 推荐(0)
ZK Java API
摘要：常用接口列表 客户端要连接 Zookeeper 服务器可以通过创建 org.apache.zookeeper. ZooKeeper 的一个实例对象，然后调用这个类提供的接口来和服务器交互。 前面说了 ZooKeeper 主要是用来维护和监控一个目录节点树中存储的数据的状态，所有我们能够操作 ZooK 阅读全文
posted @ 2018-03-05 18:06 猴子1 阅读(274) 评论(0) 推荐(0)
ZK 概述二
摘要：ZK集群选奇数台原因：1、容错：3台，可以允许一台挂掉，4台，也只能允许一天挂掉 2、防脑裂：偶数台，有一定的几率使ZK无法正常工作，而奇数台，无论怎么分都可以正常工作，因为Paxos的超过半数才能通过的规则 Znode节点有两种类型：短暂的（ephemeral）（客户端与ZK连接创建的节点，当连接 阅读全文
posted @ 2018-03-05 17:49 猴子1 阅读(166) 评论(0) 推荐(0)
keepalived与Zookeeper的异同
摘要：同：都是处理高可用，高并发 异：1、keepalived是主动向Nginx访问，判断Nginx是否正常，而zookeeper是让HDFS、Yarn、Storm等主动去访问zookeeper 2、KP（keepalived）在处理高并发时，由主KP处理，当主KP挂掉时，交由从KP处理，都是一个KP处理 阅读全文
posted @ 2018-03-05 16:36 猴子1 阅读(375) 评论(0) 推荐(0)
Zookeeper 概念、运行原理、配置、启动
摘要：Zookeeper：为了保证分布式数据的一致性，ZK提供通用的分布式锁服务，泳衣协调分布式应用 ZK（Zookeeper）使用的是Paxos算法 ZK分别在Hadoop和HBase中的作用： 在Hadoop中，使用Zk的事件处理确保整个集群只有一个NN（NameNode），存储配置信息等 在HBas 阅读全文
posted @ 2018-03-05 15:12 猴子1 阅读(385) 评论(0) 推荐(0)
Hive、MR 一些简单笔记
摘要：Hive是数据库文件管理组件 Hive中存储的数据是以文件的形式存储，当使用Hive语法时（非常类似与SQL），Hive会呗转换成可执行的MapReduce作业，自动去执行 Hive的内容例子： 1,张三,男 2,李四,女 其中，“,”字段分割规则，在建表时定义，其他的“1”，“张三”，“男”都是字 阅读全文
posted @ 2018-03-02 18:10 猴子1 阅读(249) 评论(0) 推荐(0)
linux MySQL开启远程账户
摘要：mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 再执行下面的语句，方可立即生效（修改的权限即时生效）。mysql> FLUSH PRIVILEGES; 上面的语句表示 阅读全文
posted @ 2018-03-02 17:20 猴子1 阅读(177) 评论(0) 推荐(0)
Hive 基本语法
摘要：Hive 语法和SQL的类似，但不完全一样，这里给出一个官方文档地址和转载一个优秀的教程（要问我为什么不写？要写完实在是太多了。。。） 官方DDL地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 下面是转载的 阅读全文
posted @ 2018-03-02 17:19 猴子1 阅读(4012) 评论(0) 推荐(0)
Hive 安装、配置
摘要：1.什么是hive Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行， 阅读全文
posted @ 2018-03-02 16:05 猴子1 阅读(122) 评论(0) 推荐(0)
Hive 集成MySQL
摘要：1. 为什么集成mysql来替换Derby 默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不使用，为了支持多用户会话， 则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。 2.在Ubunt 阅读全文
posted @ 2018-03-02 16:04 猴子1 阅读(143) 评论(0) 推荐(0)
Hive metastore无法启动
摘要：1。首先将mysql的bind-address = 0.0.0.0这个配置改成0.0.0.0 我的mysql配置文件在/etc/mysql/my.cnf这个里面。大家可以根据自己的情况。 2。com.mysql.cj.core.exceptions.CJCommunicationsException 阅读全文
posted @ 2018-03-02 15:59 猴子1 阅读(3487) 评论(0) 推荐(0)
hive 启动抛出java.net.URISyntaxException
摘要：日志部分内容： 解决： 修改 hive-site.xml 中所有包含 ${system:Java.io.tmpdir} 字段的 value 即路径（vim下 / 表示搜索，后面跟你的关键词，比如搜索 hello，则为 /hello , 再回车即可），你可以自己新建一个目录来替换它，例如 /app/h 阅读全文
posted @ 2018-03-02 15:22 猴子1 阅读(1251) 评论(0) 推荐(0)
HDFS DataNode无法启动，抛出java.io.EOFException
摘要：浏览HDFS网页时，404，然后去服务器看下果然发现没有datanode进程，然后去看下日志 日志部分内容： java.io.EOFException: End of File Exception between local host is: "ubuntu/127.0.1.1"; destinat 阅读全文
posted @ 2018-03-02 14:30 猴子1 阅读(1496) 评论(0) 推荐(0)
Nginx 配置虚拟主机
摘要：虚拟主机的概念虚拟主机，就是把一台物理服务器划分成多个“虚拟”的服务器，每一个虚拟主机都可以有独立的域名和独立的目录nginx虚拟主机的配置nginx的虚拟主机就是通过nginx.conf中server节点指定的，想要设置多个虚拟主机，配置多个server节点即可先看一个最简单的虚拟主机配置示例se 阅读全文
posted @ 2018-03-02 13:34 猴子1 阅读(145) 评论(0) 推荐(0)
Nginx 负载均衡
摘要：企业在解决高并发问题时，一般有两个方向的处理策略，软件、硬件，硬件上添加负载均衡器分发大量请求，软件上可在高并发瓶颈处：数据库+web服务器两处添加解决方案，其中web服务器前面一层最常用的的添加负载方案就是使用nginx实现负载均衡。 一、负载均衡的作用 1、转发功能 按照一定的算法【权重、轮询】 阅读全文
posted @ 2018-03-02 13:29 猴子1 阅读(125) 评论(0) 推荐(0)