PEAR2020

2020年12月8日

摘要：借助hbase的读写思路做数仓 hbase读写速度快（与HDFS对比）是基于两方面： 1）用户写（入cache）和（cache）写入硬盘是异步的 2）有-root-和-meta-表，能够快速定位表的位置 => 成为物理化的标准索引详见：https://www.cnblogs.com/saberto 阅读全文

posted @ 2020-12-08 22:22 PEAR2020 阅读(1009) 评论(0) 推荐(0)

测试之压力&负载测试之使用Jmeter实操

摘要：一、概念压力测试：长时间（24小时），每小时很多用户访问很多次负载测试：瞬间并发达到极限高峰，能不能顶住二、实操 1）需要测试的接口为： 2）打开jmeter 3）配置访问参数 “测试计划”右键 => 添加 => 线程（用户）=> 线程组如下：开1000个线程，每个线程每秒访问5次 “永远” 阅读全文

posted @ 2020-12-08 20:43 PEAR2020 阅读(330) 评论(0) 推荐(0)

Java 之批量从mysql导入Redis

摘要：一、pom 从插入redis数据需要转成JSON => 需要jackson的三个包！ java操作redis => 使用Jedis <dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</arti 阅读全文

posted @ 2020-12-08 12:36 PEAR2020 阅读(817) 评论(0) 推荐(0)

Zookeeper之为什么最好是奇数台机器？

摘要：为什么最好为奇数个，是在以最大容错服务器个数的条件下，会节省资源！比如，最大容错为2的情况下，对应的zookeeper服务数，奇数为5，而偶数为6，也就是6个zookeeper服务的情况下最多能宕掉2个服务，所以从节约资源的角度看，没必要部署6（偶数）个zookeeper服务。详细解释： zo 阅读全文

posted @ 2020-12-08 10:20 PEAR2020 阅读(403) 评论(0) 推荐(0)

2020年12月7日

Kafka 之如何高吞吐和低延迟

摘要： 1.顺序读写 kafka 顺序读写快 & hbase 随机读写快>>> kafka消息不断追加，可以充分利用磁盘的顺序读写性能不需要硬盘磁头的寻道时间，只需要很少的扇区旋转时间，速度远快于随机 >>> hbase因为先找缓存，和HDFS比快 2.零拷贝见：https://segmentfault 阅读全文

posted @ 2020-12-07 23:30 PEAR2020 阅读(553) 评论(0) 推荐(0)

hbase 之 rowkey的设计

摘要： PASS （hash打散，加盐打散，md5打散） => 1）为了数据能有效分散在hadoop节点上 2）考虑怎么找？一般用md5，（姓名+身份证）两次hash，再hash法，能保证尽量分布阅读全文

posted @ 2020-12-07 22:28 PEAR2020 阅读(117) 评论(0) 推荐(0)

Zookeeper之两种选举制度|为什么需要过半投票机制？

摘要：一、选举制度 1.第一次选举：超 > 半数选举，判断leader的标准：myid 详细见：https://blog.csdn.net/weixin_43291055/article/details/95451357 2.宕机选举：每个zk：(myid,zxid) 只要超过半数的节点正常，集群就能正常阅读全文

posted @ 2020-12-07 11:50 PEAR2020 阅读(1113) 评论(0) 推荐(0)

2020年12月6日

离线数据分析之人物兴趣取向分析（三）Kafka介绍

摘要： Apache Kafka 架构介绍 Kafka Components Apache Kafka API介绍 Apache Kafka Performance Kafka Producer和Consumer 一、架构介绍二、KFK特性三、KFK组件（1）逻辑层面：Topic （2-1）物理层面：阅读全文

posted @ 2020-12-06 12:04 PEAR2020 阅读(232) 评论(0) 推荐(0)

2020年12月4日

Mysql 之 union和union all

摘要：如果允许重复的值，请使用 UNION ALL。阅读全文

posted @ 2020-12-04 14:11 PEAR2020 阅读(96) 评论(0) 推荐(0)

2020年12月3日

Mysql之 distinct & null | distinct 调优

摘要：一、distinct与null的关系见链接 https://www.cnblogs.com/jasonlam/p/6619013.html distinct show 的时候不会出现null或none 二、distinct调优 use test; create table mytest(id int 阅读全文

posted @ 2020-12-03 09:53 PEAR2020 阅读(875) 评论(0) 推荐(0)

公告