papering - 博客园

2017年10月27日

摘要：【hibernate ORM 是对象关系映射框架事实上的持久化存储引擎】 http://docs.jboss.org/hibernate/orm/5.2/userguide/html_single/Hibernate_User_Guide.html Object/Relational Mappin 阅读全文

posted @ 2017-10-27 21:46 papering 阅读(295) 评论(0) 推荐(0)

non-blocking I/O

摘要： https://en.wikipedia.org/wiki/New_I/O_(Java) zh.wikipedia.org/wiki/Java_NIO Java NIO API提供在java.nio套件或其子套件中。緩衝區的基本資料類型字元集的編碼器和解碼器基於Perl風格的正則表達式（在 j 阅读全文

posted @ 2017-10-27 21:25 papering 阅读(204) 评论(0) 推荐(0)

jetty netty

摘要： jetty netty 阅读全文

posted @ 2017-10-27 16:54 papering 阅读(290) 评论(0) 推荐(0)

Azkaban_Oozie_action

摘要： http://azkaban.github.io/azkaban/docs/2.5/ There is no reason why MySQL was chosen except that it is a widely used DB. We are looking to implement com 阅读全文

posted @ 2017-10-27 16:50 papering 阅读(272) 评论(0) 推荐(0)

权限过大 ssh协议通过pem文件登陆

摘要： root@oneweek:~# ssh -i uat.pem root@110.5.15.6@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KEY FILE! @@@@ 阅读全文

posted @ 2017-10-27 16:06 papering 阅读(522) 评论(0) 推荐(0)

交易准实时预警 kafka topic 主题异常交易主题低延迟 event topic alert topic 内存算法测试

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 周明耀2015 年 6 月 10 日发布示例：网络游戏示例：网络游戏假设我们正在开发一个在线网络游戏平台，这个平台需要支持大量的在线用户实时操作，玩阅读全文

posted @ 2017-10-27 14:46 papering 阅读(616) 评论(0) 推荐(0)

flink_action 多级别的抽象同时处理无界限（流）和有界限（批处理）数据集

摘要：实践 3）通过连表mysql，字段值IS NOT NULL，实现数据分流 CREATE TEMPORARY TABLE `nocache_table_test` ( `device_id` STRING) WITH ( 'connector' = 'rds', 'username' = 'acfo 阅读全文

posted @ 2017-10-27 14:43 papering 阅读(356) 评论(0) 推荐(0)

netty

摘要： netty Netty: Home http://netty.io/ Netty is an asynchronous event-driven network application framework for rapid development of maintainable high perf 阅读全文

posted @ 2017-10-27 13:31 papering 阅读(253) 评论(0) 推荐(0)

1970 ted codd

摘要： 1970 阅读全文

posted @ 2017-10-27 12:54 papering 阅读(162) 评论(0) 推荐(0)

Data dictionary

摘要： Data dictionary 阅读全文

posted @ 2017-10-27 10:11 papering 阅读(172) 评论(0) 推荐(0)

mina

摘要： http://mina.apache.org/ Apache MINA is a network application framework which helps users develop high performance and high scalability network applica 阅读全文

posted @ 2017-10-27 10:10 papering 阅读(212) 评论(0) 推荐(0)

2017年10月26日

be defensive and add checks to prevent null dereferences, NullPointerException

摘要： Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文

posted @ 2017-10-26 23:27 papering 阅读(373) 评论(0) 推荐(0)

hadoop 小文件挂载小文件对NameNode的内存消耗 HDFS小文件解决方案客户端自身机制 HDFS把块默认复制3次至3个不同节点。

摘要： hadoop不支持传统文件系统的挂载，使得流式数据装进hadoop变得复杂。 hadoo中，文件只是目录项存在；在文件关闭前，其长度一直显示为0：如果在一段时间内将数据写到文件却没有将其关闭，则若网络中断后，则我们得到的仅仅是一个空白文件；故：最好编写小文件，这样能尽快将其关闭错误。【mappe 阅读全文

posted @ 2017-10-26 20:03 papering 阅读(520) 评论(0) 推荐(0)

基于Flume的美团日志收集系统架构和设计改进和优化

摘要： 3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一阅读全文

posted @ 2017-10-26 19:02 papering 阅读(490) 评论(0) 推荐(0)

kafka source type

摘要： https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】阅读全文

posted @ 2017-10-26 18:29 papering 阅读(376) 评论(0) 推荐(0)

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相阅读全文

posted @ 2017-10-26 17:57 papering 阅读(411) 评论(0) 推荐(0)

a

摘要： a 翻译搜索复制阅读全文

posted @ 2017-10-26 17:48 papering 阅读(147) 评论(0) 推荐(0)

lzo

摘要： Hadoop文件格式 1-非结构化文本数据可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件，则需要制定压缩方式，其通过设置hdfs.codeC设置 gzip bzip2 lzo sn 阅读全文

posted @ 2017-10-26 16:45 papering 阅读(374) 评论(0) 推荐(0)

PPID=1 runs as a background process, rather than being under the direct control of an interactive user Process Groups and Tty Management 进程组 TTY

摘要： kill(2) - Linux manual page https://man7.org/linux/man-pages/man2/kill.2.html NAME top kill - send signal to a process SYNOPSIS top #include <signal.h 阅读全文

posted @ 2017-10-26 15:31 papering 阅读(639) 评论(0) 推荐(0)

An Overview of Query Optimization in Relational Systems

摘要： An Overview of Query Optimization in Relational Systems 阅读全文

posted @ 2017-10-26 13:56 papering 阅读(430) 评论(0) 推荐(0)

Unix domain socket

摘要： hdfs shortcircuit 阅读全文

posted @ 2017-10-26 08:06 papering 阅读(139) 评论(0) 推荐(0)

key object store

摘要： s3 阅读全文

posted @ 2017-10-26 01:22 papering 阅读(165) 评论(0) 推荐(0)

Lowest Common Ancestors

摘要： Lowest Common Ancestors 阅读全文

posted @ 2017-10-26 00:27 papering 阅读(154) 评论(0) 推荐(0)

Traveling Saleman Problem

摘要： Traveling Saleman Problem 阅读全文

posted @ 2017-10-26 00:26 papering 阅读(146) 评论(0) 推荐(0)

2017年10月25日

HDFS relaxes a few POSIX requirements to enable streaming access to file system data

摘要： https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction 【相对于POSIX，放宽要求】 The Hadoop Distributed File System 阅读全文

posted @ 2017-10-25 21:19 papering 阅读(406) 评论(0) 推荐(0)

exception_action

摘要： for i in range(3, -2, -1): try: print(4 / i) except Exception as e: print(Exception) print(e) 阅读全文

posted @ 2017-10-25 14:36 papering 阅读(164) 评论(0) 推荐(0)

2017年10月24日

yarn_action

摘要： https://maprdocs.mapr.com/home/AdministratorGuide/ResourceAllocation-YARNContainer.html yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-al 阅读全文

posted @ 2017-10-24 17:10 papering 阅读(252) 评论(0) 推荐(0)

Kubernetes TensorFlow 默认特定集群管理器虚拟化技术

摘要： Our goal is to foster an ecosystem of components and tools that relieve the burden of running applications in public and private clouds. https://kuber 阅读全文

posted @ 2017-10-24 16:15 papering 阅读(249) 评论(0) 推荐(0)

2017年10月23日

Dominant Resource Fairness: Fair Allocation of Multiple Resource Types

摘要： Dominant Resource Fairness: Fair Allocation of Multiple Resource Types 阅读全文

posted @ 2017-10-23 19:40 papering 阅读(191) 评论(0) 推荐(0)

RocksDB

摘要： RocksDB RocksDB is a high performance[1][2][3][4][5] embedded database for key-value data. It is a fork of LevelDB which was then optimized to exploit 阅读全文

posted @ 2017-10-23 14:34 papering 阅读(210) 评论(0) 推荐(0)

2017年10月22日

Large-scale Incremental Processing Using Distributed Transactions and Notifications

摘要： Large-scale Incremental Processing Using Distributed Transactions and Notifications 阅读全文

posted @ 2017-10-22 21:02 papering 阅读(203) 评论(0) 推荐(0)

2017年10月21日

对外虚ip

摘要： ip 阅读全文

posted @ 2017-10-21 14:26 papering 阅读(179) 评论(0) 推荐(0)

nwr dynamo

摘要： w+r> 阅读全文

posted @ 2017-10-21 14:22 papering 阅读(110) 评论(0) 推荐(0)

Jeff Dean 排序时间计算快速排序

摘要：分治 Divide Conquer 快速排序 | 菜鸟教程 https://www.runoob.com/w3cnote/quick-sort.html DivideConquerFillAHole func quickSort(input []int) []int { // DivideConqu 阅读全文

posted @ 2017-10-21 13:27 papering 阅读(306) 评论(0) 推荐(0)

bmdiff snappy lzw gzip

摘要： https://github.com/google/snappy Introduction 【速度第一，压缩比适宜】【favors speed over compression ratio】 Snappy is a compression/decompression library. It doe 阅读全文

posted @ 2017-10-21 12:25 papering 阅读(409) 评论(0) 推荐(0)

哑变量位图索引

摘要：位图索引翻译搜索复制阅读全文

posted @ 2017-10-21 12:24 papering 阅读(196) 评论(0) 推荐(0)

lru lirs

摘要： lru 阅读全文

posted @ 2017-10-21 11:14 papering 阅读(169) 评论(0) 推荐(0)

集群有几个机架每个机架接入几台服务

摘要：机架阅读全文

posted @ 2017-10-21 00:10 papering 阅读(301) 评论(0) 推荐(0)

2017年10月20日

combination_m_n

摘要： def combination_2_n(l): n, r = len(l), [] for i in range(0, n, 1): s = i + 1 for ii in range(s, n, 1): r.append([l[i], l[ii]]) return r # l1, l2 = [... 阅读全文

posted @ 2017-10-20 16:47 papering 阅读(254) 评论(0) 推荐(0)

process_thread_action

摘要： import psycopg2 import threading conn_fmac = psycopg2.connect(database='filter_useless_mac', user='user', password='password', host='192.168.168.168', port='5432') d... 阅读全文

posted @ 2017-10-20 10:02 papering 阅读(276) 评论(0) 推荐(0)