papering - 博客园

2017年10月29日

摘要： $ wc --helpUsage: wc [OPTION]... [FILE]... or: wc [OPTION]... --files0-from=FPrint newline, word, and byte counts for each FILE, and a total line ifmo 阅读全文

posted @ 2017-10-29 16:43 papering 阅读(258) 评论(0) 推荐(0)

file descriptor 0 1 2 一切皆文件 stdout stderr stdin /dev/null 沉默是金 pipes 禁止输出屏蔽 stdout 和 stderr 输入输出重定向重定向文件描述符

摘要：读取标准输入 #include "thread.h" #include "thread-sync.h" int n, count = 0; mutex_t lk = MUTEX_INIT(); void Tproduce() { while (1) { retry: mutex_lock(&lk); 阅读全文

posted @ 2017-10-29 16:08 papering 阅读(883) 评论(0) 推荐(0)

# $ # root

摘要： # 阅读全文

posted @ 2017-10-29 15:59 papering 阅读(136) 评论(0) 推荐(0)

inode ls -li 显示索引节点

摘要： ls 阅读全文

posted @ 2017-10-29 14:04 papering 阅读(446) 评论(0) 推荐(0)

again shell

摘要： sh UNIX shell Bourne Again Shell 阅读全文

posted @ 2017-10-29 11:27 papering 阅读(194) 评论(0) 推荐(0)

操作系统资源管理 zookeeper yarn 进程管理分布式 yarn诞生背景

摘要： zookeeper 信息保管员 YARN 简介 https://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/index.html 阅读全文

posted @ 2017-10-29 11:10 papering 阅读(237) 评论(0) 推荐(0)

2017年10月28日

Xen

摘要： https://www.xenproject.org/ The Xen ProjectTM is the leading open source virtualization platform that is powering some of the largest clouds in produc 阅读全文

posted @ 2017-10-28 21:13 papering 阅读(205) 评论(0) 推荐(0)

I/O 复用 multiplexing data race 同步 coroutine 协程

摘要：小结： 1、A file descriptor is considered ready if it is possible to perform the corresponding I/O operation (e.g., read(2)) without blocking. UNIX网络编程卷1：阅读全文

posted @ 2017-10-28 12:58 papering 阅读(350) 评论(0) 推荐(0)

flume topology design . tier num 分层数目

摘要： 32：+：1 x：1 x＜＝8 https://flume.apache.org/FlumeUserGuide.html#flume-topology-design Flume topology design 【拓扑分层原因 0-缓冲1-路由】 The first step in designin 阅读全文

posted @ 2017-10-28 09:26 papering 阅读(234) 评论(0) 推荐(0)

Page (computer memory) Memory segmentation Page table 虚拟地址到物理地址的转换

摘要： A page, memory page, or virtual page is a fixed-length contiguous block of virtual memory, described by a single entry in the page table. It is the sm 阅读全文

posted @ 2017-10-28 02:48 papering 阅读(588) 评论(0) 推荐(0)

2017年10月27日

service oriented architecture 构造分布式计算的应用程序的方法面向服务的架构分解技术

摘要： zh.wikipedia.org/wiki/面向服务的架构【程序功能做为服务】面向服务的体系结构（英语：service-oriented architecture）是构造分布式計算的应用程序的方法。它将应用程序功能作为服务发送给最终用户或者其他服务。它采用开放标准、与软件资源进行交互并采用表示阅读全文

posted @ 2017-10-27 22:31 papering 阅读(343) 评论(0) 推荐(0)

WildFly JBoss 应用程序服务器

摘要： https://en.wikipedia.org/wiki/WildFly 【实现基于面向服务的架构SOA的web应用和服务】 WildFly,[1] formerly known as JBoss AS, or simply JBoss, is an application server auth 阅读全文

posted @ 2017-10-27 22:23 papering 阅读(249) 评论(0) 推荐(0)

Object/Relational Mapping 数学关系反面向对象

摘要：【hibernate ORM 是对象关系映射框架事实上的持久化存储引擎】 http://docs.jboss.org/hibernate/orm/5.2/userguide/html_single/Hibernate_User_Guide.html Object/Relational Mappin 阅读全文

posted @ 2017-10-27 21:46 papering 阅读(275) 评论(0) 推荐(0)

non-blocking I/O

摘要： https://en.wikipedia.org/wiki/New_I/O_(Java) zh.wikipedia.org/wiki/Java_NIO Java NIO API提供在java.nio套件或其子套件中。緩衝區的基本資料類型字元集的編碼器和解碼器基於Perl風格的正則表達式（在 j 阅读全文

posted @ 2017-10-27 21:25 papering 阅读(182) 评论(0) 推荐(0)

jetty netty

摘要： jetty netty 阅读全文

posted @ 2017-10-27 16:54 papering 阅读(282) 评论(0) 推荐(0)

Azkaban_Oozie_action

摘要： http://azkaban.github.io/azkaban/docs/2.5/ There is no reason why MySQL was chosen except that it is a widely used DB. We are looking to implement com 阅读全文

posted @ 2017-10-27 16:50 papering 阅读(240) 评论(0) 推荐(0)

权限过大 ssh协议通过pem文件登陆

摘要： root@oneweek:~# ssh -i uat.pem root@110.5.15.6@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KEY FILE! @@@@ 阅读全文

posted @ 2017-10-27 16:06 papering 阅读(486) 评论(0) 推荐(0)

交易准实时预警 kafka topic 主题异常交易主题低延迟 event topic alert topic 内存算法测试

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 周明耀2015 年 6 月 10 日发布示例：网络游戏示例：网络游戏假设我们正在开发一个在线网络游戏平台，这个平台需要支持大量的在线用户实时操作，玩阅读全文

posted @ 2017-10-27 14:46 papering 阅读(591) 评论(0) 推荐(0)

flink_action 多级别的抽象同时处理无界限（流）和有界限（批处理）数据集

摘要：实践 3）通过连表mysql，字段值IS NOT NULL，实现数据分流 CREATE TEMPORARY TABLE `nocache_table_test` ( `device_id` STRING) WITH ( 'connector' = 'rds', 'username' = 'acfo 阅读全文

posted @ 2017-10-27 14:43 papering 阅读(309) 评论(0) 推荐(0)

netty

摘要： netty Netty: Home http://netty.io/ Netty is an asynchronous event-driven network application framework for rapid development of maintainable high perf 阅读全文

posted @ 2017-10-27 13:31 papering 阅读(221) 评论(0) 推荐(0)

1970 ted codd

摘要： 1970 阅读全文

posted @ 2017-10-27 12:54 papering 阅读(152) 评论(0) 推荐(0)

Data dictionary

摘要： Data dictionary 阅读全文

posted @ 2017-10-27 10:11 papering 阅读(156) 评论(0) 推荐(0)

mina

摘要： http://mina.apache.org/ Apache MINA is a network application framework which helps users develop high performance and high scalability network applica 阅读全文

posted @ 2017-10-27 10:10 papering 阅读(191) 评论(0) 推荐(0)

2017年10月26日

be defensive and add checks to prevent null dereferences, NullPointerException

摘要： Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文

posted @ 2017-10-26 23:27 papering 阅读(334) 评论(0) 推荐(0)

hadoop 小文件挂载小文件对NameNode的内存消耗 HDFS小文件解决方案客户端自身机制 HDFS把块默认复制3次至3个不同节点。

摘要： hadoop不支持传统文件系统的挂载，使得流式数据装进hadoop变得复杂。 hadoo中，文件只是目录项存在；在文件关闭前，其长度一直显示为0：如果在一段时间内将数据写到文件却没有将其关闭，则若网络中断后，则我们得到的仅仅是一个空白文件；故：最好编写小文件，这样能尽快将其关闭错误。【mappe 阅读全文

posted @ 2017-10-26 20:03 papering 阅读(482) 评论(0) 推荐(0)

基于Flume的美团日志收集系统架构和设计改进和优化

摘要： 3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一阅读全文

posted @ 2017-10-26 19:02 papering 阅读(430) 评论(0) 推荐(0)

kafka source type

摘要： https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】阅读全文

posted @ 2017-10-26 18:29 papering 阅读(336) 评论(0) 推荐(0)

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相阅读全文

posted @ 2017-10-26 17:57 papering 阅读(383) 评论(0) 推荐(0)

a

摘要： a 翻译搜索复制阅读全文

posted @ 2017-10-26 17:48 papering 阅读(135) 评论(0) 推荐(0)

lzo

摘要： Hadoop文件格式 1-非结构化文本数据可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件，则需要制定压缩方式，其通过设置hdfs.codeC设置 gzip bzip2 lzo sn 阅读全文

posted @ 2017-10-26 16:45 papering 阅读(353) 评论(0) 推荐(0)

PPID=1 runs as a background process, rather than being under the direct control of an interactive user Process Groups and Tty Management 进程组 TTY

摘要： kill(2) - Linux manual page https://man7.org/linux/man-pages/man2/kill.2.html NAME top kill - send signal to a process SYNOPSIS top #include <signal.h 阅读全文

posted @ 2017-10-26 15:31 papering 阅读(594) 评论(0) 推荐(0)

An Overview of Query Optimization in Relational Systems

摘要： An Overview of Query Optimization in Relational Systems 阅读全文

posted @ 2017-10-26 13:56 papering 阅读(371) 评论(0) 推荐(0)

Unix domain socket

摘要： hdfs shortcircuit 阅读全文

posted @ 2017-10-26 08:06 papering 阅读(137) 评论(0) 推荐(0)

key object store

摘要： s3 阅读全文

posted @ 2017-10-26 01:22 papering 阅读(143) 评论(0) 推荐(0)

Lowest Common Ancestors

摘要： Lowest Common Ancestors 阅读全文

posted @ 2017-10-26 00:27 papering 阅读(136) 评论(0) 推荐(0)

Traveling Saleman Problem

摘要： Traveling Saleman Problem 阅读全文

posted @ 2017-10-26 00:26 papering 阅读(126) 评论(0) 推荐(0)

2017年10月25日

HDFS relaxes a few POSIX requirements to enable streaming access to file system data

摘要： https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction 【相对于POSIX，放宽要求】 The Hadoop Distributed File System 阅读全文

posted @ 2017-10-25 21:19 papering 阅读(369) 评论(0) 推荐(0)

exception_action

摘要： for i in range(3, -2, -1): try: print(4 / i) except Exception as e: print(Exception) print(e) 阅读全文

posted @ 2017-10-25 14:36 papering 阅读(147) 评论(0) 推荐(0)

2017年10月24日

yarn_action

摘要： https://maprdocs.mapr.com/home/AdministratorGuide/ResourceAllocation-YARNContainer.html yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-al 阅读全文

posted @ 2017-10-24 17:10 papering 阅读(209) 评论(0) 推荐(0)

Kubernetes TensorFlow 默认特定集群管理器虚拟化技术

摘要： Our goal is to foster an ecosystem of components and tools that relieve the burden of running applications in public and private clouds. https://kuber 阅读全文

posted @ 2017-10-24 16:15 papering 阅读(217) 评论(0) 推荐(0)