papering - 博客园

2018年7月19日

摘要：渠道游戏【算法1】固定渠道、游戏1、某个用户的注册时间、考察间隔日是否登录 <uid,[bool,bool,bool,...]>2、考察间隔日的用户数/总注册数 <peroid,numBools>3、留存率 numBoolsPeroid/numUids 【算法2】多渠道、多游戏假设某个用户行为始阅读全文

posted @ 2018-07-19 16:44 papering 阅读(345) 评论(0) 推荐(0)

Writing a Discard Server

摘要： Netty.docs: User guide for 4.x https://netty.io/wiki/user-guide-for-4.x.html 阅读全文

posted @ 2018-07-19 14:18 papering 阅读(140) 评论(0) 推荐(0)

t

摘要： t 阅读全文

posted @ 2018-07-19 10:58 papering 阅读(148) 评论(0) 推荐(0)

启动进程派生关闭而不关闭

摘要：启动进程派生关闭而不关闭阅读全文

posted @ 2018-07-19 08:53 papering 阅读(139) 评论(0) 推荐(0)

2018年7月18日

单页应用 SAP Vue

摘要： https://en.wikipedia.org/wiki/Single-page_application https://en.wikipedia.org/wiki/Vue.js A single-page application (SPA) is a web application or web 阅读全文

posted @ 2018-07-18 13:42 papering 阅读(356) 评论(0) 推荐(0)

TiDB 整体架构结合yarn zookeeper分析架构

摘要： TiDB 简介与整体架构| PingCAP https://www.pingcap.com/docs-cn/overview/ 真正金融级高可用相比于传统主从 (M-S) 复制方案，基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证，且在不丢失大多数副本的前提下，可以实现阅读全文

posted @ 2018-07-18 10:53 papering 阅读(405) 评论(0) 推荐(0)

Writing a Simple YARN Application 从hadoop生态抽出yarn ，单独使用yarn

摘要： Apache Hadoop 2.9.1 – Hadoop: Writing YARN Applications https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.ht 阅读全文

posted @ 2018-07-18 10:41 papering 阅读(296) 评论(0) 推荐(0)

Phoenix put the sql back in NoSql

摘要： Overview | Apache Phoenix http://phoenix.apache.org/index.html Apache Phoenix enables OLTP and operational analytics in Hadoop for low latency applica 阅读全文

posted @ 2018-07-18 08:57 papering 阅读(163) 评论(0) 推荐(0)

2018年7月17日

事件序列化器 Flume 的无数据丢失保证，Channel 和事务

摘要：小结： 1、Flume 的持久性保证依赖于使用的持久性Channel 的保证通过事件序列化器将Flume事件转化为外部存储格式主要的事件序列化器： 1、文本 2、带有头信息的文本 3、Avro序列化 Flume 1.8.0 User Guide — Apache Flume http://flu 阅读全文

posted @ 2018-07-17 22:02 papering 阅读(912) 评论(0) 推荐(0)

Flume接收器组的指数退避上限

摘要：指数退避 agent.sinkgroups.sg1.sinks=k1,k2,k3agent.sinkgroups.sg1.processor.type=failoveragent.sinkgroups.sg1.processor.priority.k1=10agent.sinkgroups.sg1. 阅读全文

posted @ 2018-07-17 21:53 papering 阅读(205) 评论(0) 推荐(0)

2018年7月16日

yum lock

摘要：状态：睡眠中，进程ID：18439Another app is currently holding the yum lock; waiting for it to exit... 另一个应用程序是：yum 内存： 81 M RSS （548 MB VSZ）已启动： Mon Jul 16 14:5 阅读全文

posted @ 2018-07-16 15:40 papering 阅读(384) 评论(0) 推荐(0)

SELECT INSTR(120,0000); 真

摘要： sql 排故 SELECT INSTR(120,0000); 真阅读全文

posted @ 2018-07-16 15:17 papering 阅读(173) 评论(0) 推荐(0)

CarbonData

摘要： CarbonData http://carbondata.apache.org/ Apache顶级项目CarbonData应用实践与2.0新技术规划介绍_搜狐科技_搜狐网 https://www.sohu.com/a/193921606_470008 阅读全文

posted @ 2018-07-16 09:19 papering 阅读(227) 评论(0) 推荐(0)

小程序多级下拉菜单demo

摘要：小程序多级下拉菜单demo - CSDN博客 https://blog.csdn.net/github_39371177/article/details/80251211 阅读全文

posted @ 2018-07-16 00:26 papering 阅读(1283) 评论(0) 推荐(0)

2018年7月15日

Lambda Architecture

摘要： Lambda Architecture » λ lambda-architecture.net http://lambda-architecture.net/ Twitter's tweets analysis using Lambda Architecture - Knoldus Blogs ht 阅读全文

posted @ 2018-07-15 23:33 papering 阅读(213) 评论(0) 推荐(0)

sentry 错误监控报警

摘要：错误监控报警 Sentry | Error Tracking Software — JavaScript, Python, PHP, Ruby, more https://sentry.io/welcome/ Software errors are inevitable. Chaos is not 阅读全文

posted @ 2018-07-15 23:03 papering 阅读(687) 评论(0) 推荐(0)

hive impala C++ Java垃圾回收 Garbage Collection GC

摘要： hive impala impala 推荐每个节点内存 2^7~2^8GB Impala与Hive的比较 - 文章 - 伯乐在线 http://blog.jobbole.com/43233/ 《Hadoop应用架构》Hadoop Application Architectures Impala使用C 阅读全文

posted @ 2018-07-15 22:28 papering 阅读(430) 评论(0) 推荐(0)

Cooperating sequential processes》，这篇论文提出了大名鼎鼎的概念信号量，Java里面用于线程同步的wait/notify也是信号量的一种实现。

摘要：闲话高并发的那些神话，看京东架构师如何把它拉下神坛 https://mp.weixin.qq.com/s/lAqn8CfSRta9iSvOR1Le6w 阅读全文

posted @ 2018-07-15 19:42 papering 阅读(481) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2018-07-15 16:51 papering 阅读(316) 评论(0) 推荐(0)

log Configuration

摘要： Log4j – Configuring Log4j 2 - Apache Log4j 2 https://logging.apache.org/log4j/2.x/manual/configuration.html log4j2 实际使用详解 - CSDN博客 https://blog.csdn.n 阅读全文

posted @ 2018-07-15 09:19 papering 阅读(234) 评论(0) 推荐(0)

Derby

摘要： hive/DerbyPolicy.java at 35605732b2041eee809485718bfd951cdfae0980 · apache/hive https://github.com/apache/hive/blob/35605732b2041eee809485718bfd951cdf 阅读全文

posted @ 2018-07-15 01:06 papering 阅读(243) 评论(0) 推荐(0)

没有到行、字段级别，到表级别、分区级别以及指定表的指定的读写权限

摘要：没有到行、字段级别，到表级别、分区级别以及指定表的指定的读写权限 Security - Apache Hive - Apache Software Foundation https://cwiki.apache.org/confluence/display/Hive/Security GRANT S 阅读全文

posted @ 2018-07-15 01:01 papering 阅读(175) 评论(0) 推荐(0)

如何在退出Hue后关闭Spark会话

摘要： https://mp.weixin.qq.com/s/QLu9XhDv1YuK19VCJsFXGw 阅读全文

posted @ 2018-07-15 00:48 papering 阅读(523) 评论(0) 推荐(0)

wrapper 基本原理

摘要： wrapper 基本原理阅读全文

posted @ 2018-07-15 00:40 papering 阅读(276) 评论(0) 推荐(0)

2018年7月14日

小程序移动端页面的跳转

摘要：减少、避免页面跳转单页无感跳转，避免用户为了单单实现页面跳转而操作阅读全文

posted @ 2018-07-14 12:22 papering 阅读(262) 评论(0) 推荐(0)

2018年7月13日

分区后的数据倾斜

摘要：分区后的数据倾斜阅读全文

posted @ 2018-07-13 18:05 papering 阅读(290) 评论(0) 推荐(0)

Remove FileUtil#copyMerge

摘要： [HADOOP-12967] Remove FileUtil#copyMerge - ASF JIRA https://issues.apache.org/jira/browse/HADOOP-12967 https://issues.apache.org/jira/secure/attachmen 阅读全文

posted @ 2018-07-13 16:38 papering 阅读(920) 评论(0) 推荐(0)

camus gobblin

摘要： ####Camus is being phased out and replaced by Gobblin. For those using or interested in Camus, we suggest taking a look at Gobblin. ####For instructio 阅读全文

posted @ 2018-07-13 14:10 papering 阅读(282) 评论(0) 推荐(0)

worker 启动时向 etcd 注册自己的信息，并设置一个带 TTL 的租约，每隔一段时间更新这个 TTL，如果该 worker 挂掉了，这个 TTL 就会 expire 并删除相应的 key。

摘要： 1、通过etcd中的选主机制，我们实现了服务的高可用。同时利用systemd对etcd本身进行了保活，只要etcd服务所在的机器没有宕机，进程就具备了容灾性。【实践】 https://github.com/etcd-io/etcd/blob/master/Documentation/op-guid 阅读全文

posted @ 2018-07-13 11:55 papering 阅读(888) 评论(0) 推荐(0)

gRPC错误码 http状态码 provide your APIs in both gRPC and RESTful style at the same time

摘要： How gRPC error codes map to HTTP status codes in the response https://github.com/grpc-ecosystem/grpc-gateway/blob/master/runtime/errors.go#L15 grpc-ec 阅读全文

posted @ 2018-07-13 11:54 papering 阅读(2237) 评论(0) 推荐(0)

rust

摘要： rust 阅读全文

posted @ 2018-07-13 11:53 papering 阅读(178) 评论(0) 推荐(0)

lz4 1

摘要： lz4 阅读全文

posted @ 2018-07-13 11:53 papering 阅读(140) 评论(0) 推荐(0)

剖析美团内部所采用的网站压力测试方案

摘要：剖析美团内部所采用的网站压力测试方案_网站优化_网站运营_脚本之家 https://www.jb51.net/yunying/443241.html 阅读全文

posted @ 2018-07-13 11:33 papering 阅读(254) 评论(0) 推荐(0)

2018年7月12日

TiKV 源码解析系列 - Raft 的优化

摘要： TiKV 源码解析系列 - Raft 的优化 https://zhuanlan.zhihu.com/p/25735592 TiKV 源码解析系列 - Raft 的优化在分布式领域，为了保证数据的一致性，通常都会使用 Paxos 或者 Raft 来实现。但 Paxos 以其复杂难懂著称，相反 Raf 阅读全文

posted @ 2018-07-12 23:02 papering 阅读(315) 评论(0) 推荐(0)

Region Range

摘要：三篇文章了解 TiDB 技术内幕 - 说存储| PingCAP https://pingcap.com/blog-cn/tidb-internal-1/ 对于一个 KV 系统，将数据分散在多台机器上有两种比较典型的方案：一种是按照 Key 做 Hash，根据 Hash 值选择对应的存储节点；另一种是阅读全文

posted @ 2018-07-12 22:44 papering 阅读(290) 评论(0) 推荐(0)

TiDB 是否支持其他存储引擎？

摘要： https://www.pingcap.com/docs-cn/FAQ/ 1.1.11 TiDB 是否支持其他存储引擎？是的，除了 TiKV 之外，TiDB 还支持一些流行的单机存储引擎，比如 GolevelDB、RocksDB、BoltDB 等。如果一个存储引擎是支持事务的 KV 引擎，并且能提阅读全文

posted @ 2018-07-12 22:32 papering 阅读(665) 评论(0) 推荐(0)

倒排索引获取指定单词的文档集合使用hash去重单词term 提高数据压缩率的方法

摘要：倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted fi 阅读全文

posted @ 2018-07-12 21:44 papering 阅读(506) 评论(0) 推荐(0)

feed流，图片在左还是右的区别是

摘要： feed流设计：那些谋杀你时间APP | 人人都是产品经理 http://www.woshipm.com/pd/773523.html 阅读全文

posted @ 2018-07-12 20:52 papering 阅读(254) 评论(0) 推荐(0)

t

摘要： t 阅读全文

posted @ 2018-07-12 20:29 papering 阅读(285) 评论(0) 推荐(0)

命令继承变父子进程变量作用域

摘要： Linux export命令 | 菜鸟教程 http://www.runoob.com/linux/linux-comm-export.html Linux export命令用于设置或显示环境变量。在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后阅读全文

posted @ 2018-07-12 15:12 papering 阅读(528) 评论(0) 推荐(0)