papering - 博客园

2017年10月26日

be defensive and add checks to prevent null dereferences, NullPointerException

摘要： Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文

posted @ 2017-10-26 23:27 papering 阅读(349) 评论(0) 推荐(0)

hadoop 小文件挂载小文件对NameNode的内存消耗 HDFS小文件解决方案客户端自身机制 HDFS把块默认复制3次至3个不同节点。

摘要： hadoop不支持传统文件系统的挂载，使得流式数据装进hadoop变得复杂。 hadoo中，文件只是目录项存在；在文件关闭前，其长度一直显示为0：如果在一段时间内将数据写到文件却没有将其关闭，则若网络中断后，则我们得到的仅仅是一个空白文件；故：最好编写小文件，这样能尽快将其关闭错误。【mappe 阅读全文

posted @ 2017-10-26 20:03 papering 阅读(491) 评论(0) 推荐(0)

基于Flume的美团日志收集系统架构和设计改进和优化

摘要： 3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一阅读全文

posted @ 2017-10-26 19:02 papering 阅读(454) 评论(0) 推荐(0)

kafka source type

摘要： https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】阅读全文

posted @ 2017-10-26 18:29 papering 阅读(338) 评论(0) 推荐(0)

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相阅读全文

posted @ 2017-10-26 17:57 papering 阅读(396) 评论(0) 推荐(0)

a

摘要： a 翻译搜索复制阅读全文

posted @ 2017-10-26 17:48 papering 阅读(137) 评论(0) 推荐(0)

lzo

摘要： Hadoop文件格式 1-非结构化文本数据可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件，则需要制定压缩方式，其通过设置hdfs.codeC设置 gzip bzip2 lzo sn 阅读全文

posted @ 2017-10-26 16:45 papering 阅读(363) 评论(0) 推荐(0)

PPID=1 runs as a background process, rather than being under the direct control of an interactive user Process Groups and Tty Management 进程组 TTY

摘要： kill(2) - Linux manual page https://man7.org/linux/man-pages/man2/kill.2.html NAME top kill - send signal to a process SYNOPSIS top #include <signal.h 阅读全文

posted @ 2017-10-26 15:31 papering 阅读(604) 评论(0) 推荐(0)

An Overview of Query Optimization in Relational Systems

摘要： An Overview of Query Optimization in Relational Systems 阅读全文

posted @ 2017-10-26 13:56 papering 阅读(414) 评论(0) 推荐(0)

Unix domain socket

摘要： hdfs shortcircuit 阅读全文

posted @ 2017-10-26 08:06 papering 阅读(137) 评论(0) 推荐(0)

key object store

摘要： s3 阅读全文

posted @ 2017-10-26 01:22 papering 阅读(148) 评论(0) 推荐(0)

Lowest Common Ancestors

摘要： Lowest Common Ancestors 阅读全文

posted @ 2017-10-26 00:27 papering 阅读(140) 评论(0) 推荐(0)

Traveling Saleman Problem

摘要： Traveling Saleman Problem 阅读全文

posted @ 2017-10-26 00:26 papering 阅读(127) 评论(0) 推荐(0)

2017年10月25日

HDFS relaxes a few POSIX requirements to enable streaming access to file system data

摘要： https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction 【相对于POSIX，放宽要求】 The Hadoop Distributed File System 阅读全文

posted @ 2017-10-25 21:19 papering 阅读(383) 评论(0) 推荐(0)

exception_action

摘要： for i in range(3, -2, -1): try: print(4 / i) except Exception as e: print(Exception) print(e) 阅读全文

posted @ 2017-10-25 14:36 papering 阅读(151) 评论(0) 推荐(0)

2017年10月24日

yarn_action

摘要： https://maprdocs.mapr.com/home/AdministratorGuide/ResourceAllocation-YARNContainer.html yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-al 阅读全文

posted @ 2017-10-24 17:10 papering 阅读(214) 评论(0) 推荐(0)

Kubernetes TensorFlow 默认特定集群管理器虚拟化技术

摘要： Our goal is to foster an ecosystem of components and tools that relieve the burden of running applications in public and private clouds. https://kuber 阅读全文

posted @ 2017-10-24 16:15 papering 阅读(225) 评论(0) 推荐(0)

2017年10月23日

Dominant Resource Fairness: Fair Allocation of Multiple Resource Types

摘要： Dominant Resource Fairness: Fair Allocation of Multiple Resource Types 阅读全文

posted @ 2017-10-23 19:40 papering 阅读(163) 评论(0) 推荐(0)

RocksDB

摘要： RocksDB RocksDB is a high performance[1][2][3][4][5] embedded database for key-value data. It is a fork of LevelDB which was then optimized to exploit 阅读全文

posted @ 2017-10-23 14:34 papering 阅读(194) 评论(0) 推荐(0)

2017年10月22日

Large-scale Incremental Processing Using Distributed Transactions and Notifications

摘要： Large-scale Incremental Processing Using Distributed Transactions and Notifications 阅读全文

posted @ 2017-10-22 21:02 papering 阅读(179) 评论(0) 推荐(0)

2017年10月21日

对外虚ip

摘要： ip 阅读全文

posted @ 2017-10-21 14:26 papering 阅读(178) 评论(0) 推荐(0)

nwr dynamo

摘要： w+r> 阅读全文

posted @ 2017-10-21 14:22 papering 阅读(101) 评论(0) 推荐(0)

Jeff Dean 排序时间计算快速排序

摘要：分治 Divide Conquer 快速排序 | 菜鸟教程 https://www.runoob.com/w3cnote/quick-sort.html DivideConquerFillAHole func quickSort(input []int) []int { // DivideConqu 阅读全文

posted @ 2017-10-21 13:27 papering 阅读(278) 评论(0) 推荐(0)

bmdiff snappy lzw gzip

摘要： https://github.com/google/snappy Introduction 【速度第一，压缩比适宜】【favors speed over compression ratio】 Snappy is a compression/decompression library. It doe 阅读全文

posted @ 2017-10-21 12:25 papering 阅读(391) 评论(0) 推荐(0)

哑变量位图索引

摘要：位图索引翻译搜索复制阅读全文

posted @ 2017-10-21 12:24 papering 阅读(188) 评论(0) 推荐(0)

lru lirs

摘要： lru 阅读全文

posted @ 2017-10-21 11:14 papering 阅读(165) 评论(0) 推荐(0)

集群有几个机架每个机架接入几台服务

摘要：机架阅读全文

posted @ 2017-10-21 00:10 papering 阅读(277) 评论(0) 推荐(0)

2017年10月20日

combination_m_n

摘要： def combination_2_n(l): n, r = len(l), [] for i in range(0, n, 1): s = i + 1 for ii in range(s, n, 1): r.append([l[i], l[ii]]) return r # l1, l2 = [... 阅读全文

posted @ 2017-10-20 16:47 papering 阅读(231) 评论(0) 推荐(0)

process_thread_action

摘要： import psycopg2 import threading conn_fmac = psycopg2.connect(database='filter_useless_mac', user='user', password='password', host='192.168.168.168', port='5432') d... 阅读全文

posted @ 2017-10-20 10:02 papering 阅读(255) 评论(0) 推荐(0)

对预测准确性的提升是以牺牲解释性为代价的

摘要： bagging bootstrap aggregation 装袋法自助法聚集阅读全文

posted @ 2017-10-20 00:22 papering 阅读(156) 评论(0) 推荐(0)

2017年10月19日

Cassandra

摘要： Cassandra 阅读全文

posted @ 2017-10-19 23:56 papering 阅读(137) 评论(0) 推荐(0)

摘要：协议阅读全文

posted @ 2017-10-19 19:27 papering 阅读(211) 评论(0) 推荐(0)

m*n matrix min rank square matrix

摘要： m*n matrix m*n=1000 f(A)=25 https://www.cs.princeton.edu/courses/archive/spring12/cos598C/svdchapter.pdf finding the best k -dimensional subspace with 阅读全文

posted @ 2017-10-19 18:51 papering 阅读(255) 评论(0) 推荐(0)

Moving Computation is Cheaper than Moving Data

摘要： https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html Introduction The Hadoop Distributed File System (HDFS) is a distributed file system designed to 阅读全文

posted @ 2017-10-19 10:45 papering 阅读(323) 评论(0) 推荐(0)

SASL mechanism

摘要： hive.spark.client.rpc.sasl.mechanisms DIGEST-MD5 Name of the SASL mechanism to use for authentication. 阅读全文

posted @ 2017-10-19 09:42 papering 阅读(867) 评论(0) 推荐(0)

一阶斜率二阶原函数的粗糙度 roughness 切线斜率变化率凹率抛物线的凹率

摘要：损失函数+惩罚函数 2阶导数二阶导数_百度百科 https://baike.baidu.com/item/%E4%BA%8C%E9%98%B6%E5%AF%BC%E6%95%B0/1139067 second derivative 设，求和。 [6] 解：用导数定义求解： [6] 翻译搜索阅读全文

posted @ 2017-10-19 08:09 papering 阅读(301) 评论(0) 推荐(0)

Linux 虚拟内存盘

摘要： RAM disk 阅读全文

posted @ 2017-10-19 01:33 papering 阅读(276) 评论(0) 推荐(0)

2017年10月18日

Bloom Filters

摘要：布隆过滤器 http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html A Bloom filter is a method for representing a set A of n elements (also called key 阅读全文

posted @ 2017-10-18 21:47 papering 阅读(193) 评论(0) 推荐(0)

R Tree

摘要： https://chenli.ics.uci.edu/files/icde2017-AsterixDB-Spatial-Comparison.pdf A Comparative Study of Log-Structured Merge-Tree-Based Spatial Indexes for 阅读全文

posted @ 2017-10-18 20:43 papering 阅读(178) 评论(0) 推荐(0)

__init__ raises an exception, then __del__ will still be called del x 并不直接调用 x.__del__() --- 前者会将 x 的引用计数减一，而后者仅会在 x 的引用计数变为零时被调用。内存

摘要： 7.13. nonlocal 语句 nonlocal_stmt ::= "nonlocal" identifier ("," identifier)* nonlocal 语句会使得所列出的名称指向之前在最近的包含作用域中绑定的除全局变量以外的变量。这种功能很重要，因为绑定的默认行为是先搜索局部命名阅读全文

posted @ 2017-10-18 20:05 papering 阅读(140) 评论(0) 推荐(0)