papering - 博客园

2018年7月26日

将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka

摘要：记flume部署过程中遇到的问题以及解决方法（持续更新） - CSDN博客 https://blog.csdn.net/lijinqi1987/article/details/77449889 现将调试过程中遇到的问题以及解决方法记录如下： 1、 [ERROR - org.apache.thrift 阅读全文

posted @ 2018-07-26 20:52 papering 阅读(595) 评论(0) 推荐(0)

线程池最大线程数

摘要：一个flume agent异常的解决过程记录 - 施文涛 - 博客园 https://www.cnblogs.com/dongqingswt/p/5287778.html 一个flume agent异常的解决过程记录今天在使用flume agent的时候，遇到了一个异常，现把解决的过程记录如下：阅读全文

posted @ 2018-07-26 20:36 papering 阅读(2398) 评论(0) 推荐(0)

es 300G 数据删除执行计划 curl REST 操作

摘要： es 300G 数据删除【es union_2017执行计划】【测试执行环境】线上D服务器【测试用例】get:curl -XGET ES:9200/_cat/indices?v post:curl -XPOST ES:9200/my_test_index get:curl -XGET ES:92 阅读全文

posted @ 2018-07-26 15:13 papering 阅读(429) 评论(0) 推荐(0)

using the flume-ng-sql-source plugin to push data from Mysql DB to Spark

摘要： org.apache.flume.EventDeliveryException while running flume and sending data to spark · Issue #21 · keedio/flume-ng-sql-source https://github.com/keed 阅读全文

posted @ 2018-07-26 11:21 papering 阅读(215) 评论(0) 推荐(0)

monitor and move the log content to our big data system

摘要： Apache Flume HDFS Sink Tutorial | HowToProgram https://howtoprogram.xyz/2016/08/01/apache-flume-hdfs-sink-tutorial/ 阅读全文

posted @ 2018-07-26 10:03 papering 阅读(147) 评论(0) 推荐(0)

拉链表

摘要：。记录一个事物从开始，一直到当前状态的所有变化的信息。漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现） - 简书 https://www.jianshu.com/p/799252156379 阅读全文

posted @ 2018-07-26 09:40 papering 阅读(209) 评论(0) 推荐(0)

CrateDb

摘要： CrateDB: Real-time SQL Database for Machine Data & IoT | Crate.io https://crate.io/ 阅读全文

posted @ 2018-07-26 09:13 papering 阅读(142) 评论(0) 推荐(0)

all rows from client_id can grow infinitely compared to a single node when hashing by client_id

摘要： all rows from client_id can grow infinitely compared to a single node when hashing by client_id Re: [pingcap/tidb] Performance comparison between TiDb 阅读全文

posted @ 2018-07-26 09:12 papering 阅读(184) 评论(0) 推荐(0)

2018年7月25日

写操作，尽量走主键最小化锁粒度

摘要： Wed, 25 Jul 2018 16:01:18 chkMysqlFromOssUdpDB.py[line:185] INFO [UDP-OK][thread:140010784782144][process:25702]Wed, 25 Jul 2018 16:01:18 chkMysqlFrom 阅读全文

posted @ 2018-07-25 15:27 papering 阅读(255) 评论(0) 推荐(0)

锁粒度 Deadlocks

摘要：锁粒度 MySQL :: MySQL 5.7 Reference Manual :: 14.5.2.4 Locking Reads https://dev.mysql.com/doc/refman/5.7/en/innodb-locking-reads.html MySQL :: MySQL 8.0 阅读全文

posted @ 2018-07-25 13:48 papering 阅读(150) 评论(0) 推荐(0)

org.apache.flume.EventDeliveryException: NettyAvroRpcClient { host: hadoop1, port: 41414 }: Failed to send event

摘要： org.apache.flume.EventDeliveryException: NettyAvroRpcClient { host: hadoop1, port: 41414 }: Failed to send event 阅读全文

posted @ 2018-07-25 10:33 papering 阅读(920) 评论(0) 推荐(0)

Release Candidate

摘要： RC_百度百科 https://baike.baidu.com/item/RC/7311964?fr=aladdin RC=Release Candidate,含义是"发布候选版"，它不是最终的版本，而是最终版(RTM=Release To Manufacture)之前的最后一个版本。广义上对测试有阅读全文

posted @ 2018-07-25 10:09 papering 阅读(609) 评论(0) 推荐(0)

Shell hook

摘要：【目的】实现 ll -as +hook+ clear Shell脚本及钩子 - CSDN博客 https://blog.csdn.net/shengzhu1/article/details/69322827 阅读全文

posted @ 2018-07-25 08:54 papering 阅读(280) 评论(0) 推荐(0)

2018年7月24日

答案{{index==0 ? '一' : (index==1 ? '二':'三' )}}

摘要：答案{{index==0 ? '一' : (index==1 ? '二':'三' )}} 阅读全文

posted @ 2018-07-24 22:56 papering 阅读(441) 评论(0) 推荐(0)

分区测试分区本质

摘要： D:\wamp64\wamp\bin\mysql\mysql5.6.17\bin>mysql Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2 Server version: 5.6.17 MySQL Community Server (GPL) Copyr... 阅读全文

posted @ 2018-07-24 21:38 papering 阅读(256) 评论(0) 推荐(0)

gnuplot

摘要： gnuplot gnuplot demo script: simple.dem http://gnuplot.sourceforge.net/demo/simple.html 阅读全文

posted @ 2018-07-24 07:41 papering 阅读(193) 评论(0) 推荐(0)

2018年7月23日

Golang 现有的哲学中，要求你尽量手工处理所有的错误返回

摘要：更优雅的 Golang 错误处理 - Go语言中文网 - Golang中文社区 https://studygolang.com/articles/9407 阅读全文

posted @ 2018-07-23 23:14 papering 阅读(164) 评论(0) 推荐(0)

O4编译在 PingCAP 的一些技术挑战

摘要：在 PingCAP 的一些技术挑战 http://www.zenlife.tk/challenge-at-pingcap.md 在 PingCAP 的一些技术挑战 2018-06-02 事务优化 ACID 事务支持是 TiDB 的基础，也是核心竞争力。做 AP 强调性能，即使不保证强一致性至少还能用阅读全文

posted @ 2018-07-23 21:35 papering 阅读(422) 评论(0) 推荐(0)

Client should know only resource URIs and that’s all.

摘要： REST Principles and Architectural Constraints – REST API Tutorial https://restfulapi.net/rest-architectural-constraints/ REST Architectural Constraint 阅读全文

posted @ 2018-07-23 11:04 papering 阅读(200) 评论(0) 推荐(0)

Statelessness Provide credentials with the request. Each request MUST stand alone and should not be affected from previous conversation happened from same client in past.

摘要： The server never relies on information from previous requests. Statelessness As per the REST (REpresentational “State” Transfer) architecture, the ser 阅读全文

posted @ 2018-07-23 10:58 papering 阅读(222) 评论(0) 推荐(0)

tmp

摘要： tmp 阅读全文

posted @ 2018-07-23 10:45 papering 阅读(214) 评论(0) 推荐(0)

Principle of least astonishment

摘要： Principle of least astonishment - Wikipedia https://en.wikipedia.org/wiki/Principle_of_least_astonishment 最小惊讶原则 Principle of least astonishment From 阅读全文

posted @ 2018-07-23 10:30 papering 阅读(500) 评论(1) 推荐(1)

如何设计一个优秀的API

摘要：如何设计一个优秀的API - 文章 - 伯乐在线 http://blog.jobbole.com/42317/ 如何设计一个优秀的API - 标点符 https://www.biaodianfu.com/how-to-design-a-good-api.html MediaWiki API help 阅读全文

posted @ 2018-07-23 10:25 papering 阅读(380) 评论(0) 推荐(0)

2018年7月22日

页面分页加载图文微服务架构

摘要：振奋人心好消息》400辆豪车，2018 https://wdy.soqi.cn/m/ODM0MDcyNzY4 图文区域内容篇幅比较长、边scrool边post请求加载图文区域？？模板页其他按数据类目:接口资源静态文件可能是一个微服务的架构，数据完全走微服务，和前端无关了每打开一次页面：阅读全文

posted @ 2018-07-22 22:59 papering 阅读(480) 评论(0) 推荐(0)

二阶段三阶段提交 Paxos

摘要：关于分布式事务、两阶段提交协议、三阶提交协议 - 文章 - 伯乐在线 http://blog.jobbole.com/95632/ 阅读全文

posted @ 2018-07-22 18:49 papering 阅读(321) 评论(0) 推荐(0)

SignatureDoesNotMatch REST接口在任何时间、任何地点、任何互联网设备上在Header中包含签名

摘要： PutObject_关于Object操作_API 参考_对象存储 OSS-阿里云 https://help.aliyun.com/document_detail/31978.html OSS API 文档简介_API 参考_对象存储 OSS-阿里云 https://help.aliyun.com/d 阅读全文

posted @ 2018-07-22 14:25 papering 阅读(768) 评论(0) 推荐(0)

2018年7月21日

tmp

摘要： tmp 阅读全文

posted @ 2018-07-21 20:29 papering 阅读(126) 评论(0) 推荐(0)

base64 hash sha

摘要：位运算阅读全文

posted @ 2018-07-21 19:04 papering 阅读(477) 评论(0) 推荐(0)

对云资源服务商资源读写的架构思考：前端代码走token

摘要：第一、统一了访问端接口、提高前端开发速度；第二统一了阿里各个产品的数据读写模式；第三，我们的服务器产生token时对读写规则做限制，特定的token由特定的规则产生，而不是让前端代代码去管控限制或者遵守规则；第四、安全，符合阿里建议，对前端代码全部隐藏阿里云后台帐号、规则，我们自己的服务器可以阅读全文

posted @ 2018-07-21 18:54 papering 阅读(174) 评论(0) 推荐(0)

微信小程序存放视频文件到阿里云用到算法js脚本文件

摘要： peterhuang007/weixinFileToaliyun: 微信小程序存放视频文件到阿里云用到算法js脚本文件 https://github.com/peterhuang007/weixinFileToaliyun require('./crypto/hmac.js'); require(' 阅读全文

posted @ 2018-07-21 16:45 papering 阅读(881) 评论(0) 推荐(0)

REST RPC HTTP vs 高性能二进制协议序列化和通信协议

摘要： edisonchou https://mp.weixin.qq.com/s/-XZXqXawR-NxJMPCeiNsmg .NET Core微服务之服务间的调用方式（REST and RPC） Edison Zhou edisonchou 前天 Tip: 此篇已加入.NET Core微服务基础系列文阅读全文

posted @ 2018-07-21 13:06 papering 阅读(1641) 评论(0) 推荐(0)

角色演员

摘要：角色_身份管理_用户指南_访问控制-阿里云 https://help.aliyun.com/document_detail/28649.html 阅读全文

posted @ 2018-07-21 11:43 papering 阅读(160) 评论(0) 推荐(0)

2018年7月20日

服务端签名后直传服务端签名直传并设置上传回调

摘要：服务端签名后直传_Web端直传实践_最佳实践_对象存储 OSS-阿里云 https://help.aliyun.com/document_detail/31926.html 服务端签名直传并设置上传回调_Web端直传实践_最佳实践_对象存储 OSS-阿里云 https://help.aliyun.c 阅读全文

posted @ 2018-07-20 23:03 papering 阅读(2017) 评论(0) 推荐(0)

预处理事务提交

摘要： Using prepared statements - The Go Programming Language https://go.dev/doc/database/prepared-statements Executing transactions - The Go Programming La 阅读全文

posted @ 2018-07-20 17:12 papering 阅读(206) 评论(0) 推荐(0)

rpc

摘要： rpc - The Go Programming Language https://golang.org/pkg/net/rpc/ Package rpc import "net/rpc"OverviewIndexSubdirectories Overview ▾ Package rpc provi 阅读全文

posted @ 2018-07-20 16:17 papering 阅读(227) 评论(0) 推荐(0)

Defining Go Modules

摘要： research!rsc: Go & Versioning https://research.swtch.com/vgo shawn@a:~/gokit/tmp$ go get --helpusage: go get [-d] [-t] [-u] [-v] [-insecure] [build fl 阅读全文

posted @ 2018-07-20 10:32 papering 阅读(2645) 评论(0) 推荐(0)

排查启动脚本，弄清依赖关系弄清楚一个命令的执行后的影响讲解启动依赖源码分析

摘要： [root@hadoop1 apache-flume-1.8.0-bin]# less bin/flume-ng HADOOP_PREFIX=/home/hadoop-2.9.1;export HADOOP_PREFIX;HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hado 阅读全文

posted @ 2018-07-20 10:07 papering 阅读(364) 评论(0) 推荐(0)

开启flume的远程调试功能

摘要：开启flume的远程调试功能 - 代码一刀 - 博客园 https://www.cnblogs.com/zengdan-develpoer/p/4637714.html 各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行阅读全文

posted @ 2018-07-20 09:02 papering 阅读(213) 评论(0) 推荐(0)

Java Management Extensions (JMX) Flume

摘要： Lesson: Overview of the JMX Technology (The Java™ Tutorials > Java Management Extensions (JMX)) https://docs.oracle.com/javase/tutorial/jmx/overview/i 阅读全文

posted @ 2018-07-20 08:44 papering 阅读(294) 评论(0) 推荐(0)

2018年7月19日

Cassandra vs. HBase

摘要： Basically comes down to the CAP theorem: You have to pick two of Consistency, Availability, and Partition tolerance. You can’t have all 3.Cassandra ch 阅读全文

posted @ 2018-07-19 17:09 papering 阅读(208) 评论(0) 推荐(0)