papering - 博客园

2019年6月4日

摘要： flume 1.x开始输入数据的读取与输出数据的写入在由不同的工作线程（称为运行器）来处理了。在flume 0.9中，输入线程也执行对输出的写入（故障恢复重试除外）。输出写入器很慢（而不仅仅是完全失败），那么它会阻塞Flume 接收数据的能力。这种新的异步设计使得输入线程完全意识不到任何下阅读全文

posted @ 2019-06-04 22:55 papering 阅读(186) 评论(0) 推荐(0)

flume 诞生背景数据同步

摘要： flume一开始是cloudlera的项目当时他们的工程师需要一次次地为客户编写工具来实现数据的自动化导入阅读全文

posted @ 2019-06-04 22:42 papering 阅读(319) 评论(0) 推荐(0)

2019年6月3日

制定一套良好的健模式、语法和命名约定是高效稳定的解决方案和技术混乱的分水岭

摘要：制定一套良好的健模式、语法和命名约定是高效稳定的解决方案和技术混乱的分水岭 KEYS 需要遍历数据库中的每一个键，对实例造成长时间的阻塞，甚至会导致Redis的内存耗尽 SCAN HSCAN SSCAN ZSCAN 为所有key提供一个迭代器，可以对所有键进行增量式调用。抽取一个随机的键片段。如果阅读全文

posted @ 2019-06-03 22:31 papering 阅读(237) 评论(0) 推荐(0)

语义化版本模式

摘要： major.minor.patchlevel minor 偶数稳定版本奇数不稳定的分分支阅读全文

posted @ 2019-06-03 22:16 papering 阅读(195) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2019-06-03 21:58 papering 阅读(184) 评论(0) 推荐(0)

基础数据结构对应基础api

摘要：《深入理解Redis》 mastering redis 阅读全文

posted @ 2019-06-03 21:50 papering 阅读(200) 评论(0) 推荐(0)

yarn集群8088端口被攻击挖矿

摘要： yarn集群8088端口被攻击挖矿 https://www.jianshu.com/p/a2d6b0d827ab https://blog.csdn.net/lm709409753/article/details/80540715 https://labitacoranet.wordpress.co 阅读全文

posted @ 2019-06-03 20:25 papering 阅读(653) 评论(0) 推荐(0)

a

摘要： x 阅读全文

posted @ 2019-06-03 19:42 papering 阅读(464) 评论(0) 推荐(0)

2019年6月2日

知乎千万级高性能长连接网关

摘要： https://mp.weixin.qq.com/s/jfHFXZpzbAEbHKkCMSev6w 对话 CTO〡用声音在一起，听荔枝 CTO 丁宁聊 UGC 声音互动平台的技术世界原创王颖奇极客公园 2018-12-01 知乎千万级高性能长连接网关揭秘 - 知乎 https://zhuanl 阅读全文

posted @ 2019-06-02 22:13 papering 阅读(534) 评论(0) 推荐(0)

可用性可靠性计算

摘要： i 系统每月崩溃1分钟可用性 1-1/(30*24*60)＝99.998％非常不可靠 ii 系统从来不崩溃，但是每年要停机2周高度可靠可用性 1-2*7/365＝96.164％阅读全文

posted @ 2019-06-02 22:05 papering 阅读(1482) 评论(0) 推荐(0)

CAP C3-2分析

摘要：一致性可用性分区容错性《Hadoop构建数据仓库实践》 p84 阅读全文

posted @ 2019-06-02 20:32 papering 阅读(166) 评论(0) 推荐(0)

51信用卡金融风控场景下实时计算引擎的设计与实践

摘要： https://mp.weixin.qq.com/s/Rx43XfhgdwerQWLn1eI3Ww 51信用卡金融风控场景下实时计算引擎的设计与实践原创：周来 51NB技术 5月7日阅读全文

posted @ 2019-06-02 00:00 papering 阅读(319) 评论(0) 推荐(0)

2019年6月1日

单元素的枚举类型实现 singleton 单例

摘要： p15 阅读全文

posted @ 2019-06-01 21:22 papering 阅读(229) 评论(0) 推荐(0)

遇到多个构造器参数时要考虑用构建器 builder 模式 JavaBean 线程安全

摘要： effective java p9 JavaBeans模式阻止了把类做成不可变的可能，这需要程序员付出额外的努力来确保它的线程安全。阅读全文

posted @ 2019-06-01 21:03 papering 阅读(397) 评论(0) 推荐(0)

spark 内存优化策略 JVM 垃圾回收

摘要：策略阅读全文

posted @ 2019-06-01 19:58 papering 阅读(315) 评论(0) 推荐(0)

多租户概念方案大数据背景

摘要：数据共享计算隔离阅读全文

posted @ 2019-06-01 19:04 papering 阅读(528) 评论(0) 推荐(0)

2019年5月31日

阿里PB级Kubernetes日志平台建设实践

摘要：干货分享 | 阿里PB级Kubernetes日志平台建设实践https://www.infoq.cn/article/HiIxh-8o0Lm4b3DWKvph 日志最主要的采集工具是 Agent，在 Kubernetes 场景下，通常会分为两种采集方式：每种采集方式都有其对应的优缺点，这里简单总结阅读全文

posted @ 2019-05-31 23:09 papering 阅读(436) 评论(0) 推荐(0)

阿里巴巴高可用技术专家襄玲：压测环境的设计和搭建 PTS - 襄玲云栖社区今天

摘要：阿里巴巴高可用技术专家襄玲：压测环境的设计和搭建 PTS - 襄玲云栖社区今天阅读全文

posted @ 2019-05-31 23:04 papering 阅读(285) 评论(0) 推荐(0)

【源码】openresty 限流

摘要：小结： 1、在连接环节计数，有清零环节有3个参量 maxburst unit_delay https://github.com/openresty/lua-resty-limit-traffic/blob/master/README.md -- limit the requests under 2 阅读全文

posted @ 2019-05-31 22:01 papering 阅读(833) 评论(0) 推荐(0)

Somatic hypermutation (or SHM) is a cellular mechanism by which the immune system adapts to the new foreign elements that confront it (e.g. microbes), as seen during class switching. Somatic hypermut

摘要： Somatic hypermutation (or SHM) is a cellular mechanism by which the immune system adapts to the new foreign elements that confront it (e.g. microbes), 阅读全文

posted @ 2019-05-31 21:20 papering 阅读(281) 评论(0) 推荐(0)

openrstry 限流是否有清零逻辑连接池

摘要： openrstry 限流是否有清零逻辑 https://github.com/openresty/lua-resty-limit-traffic # encoding=utf-8 # Shawn 2020/4/28 10:31 from asgiref.sync import async_to_s 阅读全文

posted @ 2019-05-31 20:45 papering 阅读(453) 评论(0) 推荐(0)

yarn 单点故障重启 ResourceManger Restart

摘要： http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html Feature Phase 1: Non-work-preserving RM restart As of Ha 阅读全文

posted @ 2019-05-31 20:44 papering 阅读(630) 评论(0) 推荐(0)

UML部署图介绍

摘要： https://www.w3cschool.cn/uml_tutorial/uml_tutorial-mi5w28ur.html 阅读全文

posted @ 2019-05-31 14:41 papering 阅读(236) 评论(0) 推荐(0)

猴子补丁

摘要： https://www.cnblogs.com/youxin/p/3805706.html http://www.dongcoder.com/detail-1218275.html 阅读全文

posted @ 2019-05-31 00:25 papering 阅读(159) 评论(0) 推荐(0)

牺牲用户体验

摘要：统计系统收集系统信息阅读全文

posted @ 2019-05-31 00:25 papering 阅读(134) 评论(0) 推荐(0)

2019年5月30日

并行执行函数

摘要：并行执行函数阅读全文

posted @ 2019-05-30 00:34 papering 阅读(330) 评论(0) 推荐(0)

2019年5月29日

tmp

摘要： tmp 阅读全文

posted @ 2019-05-29 15:50 papering 阅读(137) 评论(0) 推荐(0)

如果前面的IO操作出问题了，按照我们代码的意思，不就try catch 了吗，这样的话线程就没关闭了，就会造成线程泄露。那怎么解决这个问题呢，其实也简单，把关闭线程的方法写到finally里就可以了。

摘要： https://mp.weixin.qq.com/s/WaNVT2bZFGHNO_mb5nK6vw 连HDFS源码大神都会犯的错之线程泄露（1）西瓜老师西瓜老师爱大数据 1月11日阅读全文

posted @ 2019-05-29 00:13 papering 阅读(190) 评论(0) 推荐(0)

Dataeye计算任务架构

摘要： https://mp.weixin.qq.com/s/9Q5-oU3bPIBieScwzrawDg 资源消耗降低2/3，Flink在唯品会实时平台的应用（有彩蛋）王新春 DBAplus社群 2018-11-02 阅读全文

posted @ 2019-05-29 00:00 papering 阅读(213) 评论(0) 推荐(0)

2019年5月28日

Mercury:唯品会全链路应用监控系统解决方案详解(含PPT)

摘要： Mercury:唯品会全链路应用监控系统解决方案详解(含PPT) 原创：姚捷高可用架构 2016-08-08 阅读全文

posted @ 2019-05-28 23:55 papering 阅读(527) 评论(0) 推荐(0)

app 爬虫

摘要： https://mp.weixin.qq.com/s/ClYYfpvylQGlYYHDFBuKpA 唯品会舆情监控系统姚彬炎唯技术 2月26日阅读全文

posted @ 2019-05-28 23:49 papering 阅读(247) 评论(0) 推荐(0)

唯品会HDFS性能挑战和优化实践

摘要：唯品会HDFS性能挑战和优化实践原创：大数据平台唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw 阅读全文

posted @ 2019-05-28 23:42 papering 阅读(294) 评论(0) 推荐(0)

构建Hadoop监控共同体

摘要： HDFS监控背后那些事儿，构建Hadoop监控共同体原创：应用研发部京东云 2018-12-19 https://mp.weixin.qq.com/s/kulwDgwu-rYf4SvQ1dOwcw 阅读全文

posted @ 2019-05-28 23:40 papering 阅读(188) 评论(0) 推荐(0)

消除单点故障 flume

摘要： p44 阅读全文

posted @ 2019-05-28 00:38 papering 阅读(473) 评论(0) 推荐(0)

时间戳 Flume's Memory Consumption

摘要：效率 https://www.cnblogs.com/zhujiabin/p/6168671.html?utm_source=itdadao&utm_medium=referral https://openmind.iteye.com/blog/1845219 https://cwiki.apach 阅读全文

posted @ 2019-05-28 00:25 papering 阅读(306) 评论(0) 推荐(0)

telnet nmap netstap

摘要： yum install nmap 阅读全文

posted @ 2019-05-28 00:25 papering 阅读(347) 评论(0) 推荐(0)

hdfs ha

摘要： ha 阅读全文

posted @ 2019-05-28 00:24 papering 阅读(137) 评论(0) 推荐(0)

netty 聊天室

摘要： https://blog.csdn.net/qq_37372007/article/details/82937584 使用netty实现一个多人聊天室--failed: Error during WebSocket handshake: Unexpected response code: 200 阅读全文

posted @ 2019-05-28 00:24 papering 阅读(255) 评论(0) 推荐(0)

2019年5月27日

c++ 套接字 --->2002 java NIO --->netty

摘要： c++ 套接字 >2002 java NIO >netty 阅读全文

posted @ 2019-05-27 01:38 papering 阅读(269) 评论(0) 推荐(0)

关注点分离

摘要： netty精妙 1、关注点分离业务和网络逻辑解耦 2、模块化和可复用性 3、可测试性作为首要的要求阅读全文

posted @ 2019-05-27 01:28 papering 阅读(237) 评论(0) 推荐(0)