07 2021 档案

Phoenix创建Hbase二级索引
摘要：第1章 Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 阅读全文
posted @ 2021-07-30 16:24 碧水斜茶 阅读(151) 评论(1) 推荐(0)
【转载】Kafka消费者
摘要：1 消费者概念 1.1 消费者与消费者组 应用程序 >kafka >应用程序 生产者 主题 消费者 1. 上游应用程序将数据发送到主题中再由下游应用程序读取、验证数据。2. 出现的可能性情况：生产者生产数据的速度超过消费者验证数据的速度这个时候就可以使用消费者组，由消费者组订阅主题，消费者组中的每个 阅读全文
posted @ 2021-07-29 16:10 碧水斜茶 阅读(52) 评论(1) 推荐(0)
谈Hadoop 3.x 新特性
摘要：Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使⽤jdk1.7，要求必须是jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，即H 阅读全文
posted @ 2021-07-28 17:22 碧水斜茶 阅读(207) 评论(0) 推荐(0)
Zookeeper
摘要：Zookeeper入门 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 特点 Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群 集群中只要有半数以上的节点存活，Zookeeper集群就能正常服务 全局数据一致：每个S 阅读全文
posted @ 2021-07-27 20:33 碧水斜茶 阅读(29) 评论(1) 推荐(0)
用Notepad++远程连接修改，方便以及视觉效果好
摘要：用Notepad++远程连接修改，方便以及视觉效果好 想远程访问虚拟机，先关闭虚拟机防火墙，然后修改本地的C:\Windows\System32\drivers\etc下的hosts文件，添加虚拟机的hostname和ip。 修改后关键内容如下： 直接修改会提示： 这是因为只要电脑开机，就会一直识别 阅读全文
posted @ 2021-07-26 16:11 碧水斜茶 阅读(105) 评论(1) 推荐(0)
【转载】Kafka面试题
摘要：1. Kafka与其他MQ的区别 以时间复杂度O(1)的方式提供消息持久化的能力，即使对TB级以上的数据也能保证常数时间的访问； 高吞吐率，即使是在非常廉价的商用机器上也能做到单机每秒100K的消息传输； 分布式系统，生产者，broker及消费者都可以有多个，支持在线扩展。 支持离线数据处理和实时数 阅读全文
posted @ 2021-07-23 15:23 碧水斜茶 阅读(216) 评论(1) 推荐(0)
【kafka】面试题
摘要：1 Kafka架构 生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。 2 Kafka的机器数量 Kafka机器数量=2 *（峰值生产速度*副本数/100）+ 1 3 副本数设定 一般我们设置成2个或3个，很多企业 阅读全文
posted @ 2021-07-22 17:19 碧水斜茶 阅读(160) 评论(1) 推荐(0)
【转载】【必会】SparkStreaming的窗口操作及实战
摘要：Window Operations（窗口操作）可以设置窗口大小和滑动窗口间隔来动态的获取当前Streaming的状态。基于窗口的操作会在一个比 StreamingContext 的 batchDuration（批次间隔）更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。 下面，通过一张 阅读全文
posted @ 2021-07-21 18:52 碧水斜茶 阅读(278) 评论(1) 推荐(0)
【转载】NoSQL数据库介绍
摘要：NoSQL数据库介绍 技术发展 技术分类 解决功能性的问题：Java，Jsp，RDBMS，Tomcat，HTML，Linux，JDBC，SVN 解决扩展性的问题：Struts，Spring，SpringMVC，Hibernate，Mybatis 解决性能的问题：NoSQL，Java线程，Hadoop 阅读全文
posted @ 2021-07-20 16:40 碧水斜茶 阅读(46) 评论(0) 推荐(0)