papering - 博客园

2017年11月22日

认证（Authentication）与授权（Authorization）是两个不同的概念 401 403

摘要：小结： 1）认证（Authentication）401 授权（Authorization）403 验证和授权是两件事情：验证（Authentication）是为了确定用户是其申明的身份，比如提供账户的密码。不然的话，任何人伪造成其他身份（比如其他用户或者管理员）是非常危险的授权（Authori 阅读全文

posted @ 2017-11-22 16:22 papering 阅读(1296) 评论(0) 推荐(0)

论常识思维的重要性

摘要： mongo是一种数据库；而一种数据库，当然有权限控制；而权限控制肯定是在读写数据之前就存在的！阅读全文

posted @ 2017-11-22 10:39 papering 阅读(212) 评论(0) 推荐(0)

Mongo.setReadPref(mode, tagSet) primaries and secondaries are treated equivalently. 读优先级策略

摘要： https://docs.mongodb.com/manual/reference/method/Mongo.setReadPref/#Mongo.setReadPref Mongo.setReadPref(mode, tagSet) Call the setReadPref() method on 阅读全文

posted @ 2017-11-22 10:29 papering 阅读(294) 评论(0) 推荐(0)

add time to file name

摘要： add time to file name echo 123 > $(date +"%Y%m%d_%H%M%S").now; 阅读全文

posted @ 2017-11-22 07:51 papering 阅读(168) 评论(0) 推荐(0)

2017年11月21日

because joins aren’t as important.

摘要： “MongoDB wasn’t designed in a lab. We built MongoDB from our own experiences building large-scale, high availability, robust systems. We didn’t start 阅读全文

posted @ 2017-11-21 22:29 papering 阅读(186) 评论(0) 推荐(0)

mongo 原理 Replica Set Oplog

摘要：【客户的写请求全部发送至主节点】 Primary. The primary receives all write operations. Secondaries. Secondaries replicate operations from the primary to maintain an ide 阅读全文

posted @ 2017-11-21 18:01 papering 阅读(368) 评论(0) 推荐(0)

monggodb 复制集集群搭建

摘要： https://docs.mongodb.com/manual/tutorial/enable-authentication/ Overview Enabling access control on a MongoDB deployment enforces authentication, requ 阅读全文

posted @ 2017-11-21 17:03 papering 阅读(289) 评论(0) 推荐(0)

ermissions on /usr/local/mongodb/conf/keyFile are too open

摘要： ermissions on /usr/local/mongodb/conf/keyFile are too open 阅读全文

posted @ 2017-11-21 12:29 papering 阅读(325) 评论(0) 推荐(0)

关闭mongodb 集群

摘要： https://docs.mongodb.com/manual/reference/glossary/#term-master mongoThe MongoDB shell. The mongo process starts the MongoDB shell as a daemon connect 阅读全文

posted @ 2017-11-21 10:10 papering 阅读(2224) 评论(0) 推荐(0)

ln mv 发挥一个物体的元作用

摘要： # 阅读全文

posted @ 2017-11-21 09:33 papering 阅读(252) 评论(0) 推荐(0)

Hadoop_stack_cmd

摘要： HDFS命令基本格式：Hadoop fs -cmd < args > HDFS命令基本格式：Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件阅读全文

posted @ 2017-11-21 08:12 papering 阅读(229) 评论(0) 推荐(0)

hadoop 集群搭建配置 spark yarn 对效率的提升永无止境 Hadoop Volume 配置

摘要：【手动验证：任意2个节点间是否实现双向 ssh免密登录】弄懂通信原理和集群的容错性任意2个节点间实现双向 ssh免密登录，默认在~目录下【实现上步后，在其中任一节点安装\配置hadoop后，可以将整个安装目录scp复制到各个节点：：：：各个节点的文件内容是一样的！！！！】 3节点 spark 阅读全文

posted @ 2017-11-21 00:11 papering 阅读(2456) 评论(0) 推荐(0)

2017年11月20日

spark通信原理

摘要： https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/network https://github.com/apache/spark/blob/master/core/src/main/sca 阅读全文

posted @ 2017-11-20 19:39 papering 阅读(442) 评论(0) 推荐(0)

hdfs 3种通讯协议

摘要： http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 通讯协议所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode，通过ClientProtocol协议与Namenode交互。而Da 阅读全文

posted @ 2017-11-20 18:55 papering 阅读(2638) 评论(0) 推荐(0)

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件

摘要： HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后阅读全文

posted @ 2017-11-20 18:52 papering 阅读(435) 评论(0) 推荐(0)

NameNode实现了三个接口

摘要： NameNode实现了三个接口阅读全文

posted @ 2017-11-20 18:15 papering 阅读(190) 评论(0) 推荐(0)

MongoDB Connector for Hadoop

摘要： https://github.com/mongodb/mongo-hadoop https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage 阅读全文

posted @ 2017-11-20 17:22 papering 阅读(167) 评论(0) 推荐(0)

Java Virtual Machine (JVM) objects 虚拟机实例的产生退出两种线程

摘要： Apache Spark is built around a distributed collection of immutable Java Virtual Machine (JVM) objects called Resilient Distributed Datasets (RDDs for 阅读全文

posted @ 2017-11-20 17:12 papering 阅读(243) 评论(0) 推荐(0)

Google's language-neutral, platform-neutral, extensible mechanism for serializing structured data.

摘要： https://github.com/google/protobuf/ 阅读全文

posted @ 2017-11-20 13:46 papering 阅读(364) 评论(0) 推荐(0)

配置hadoop用户SSH无密码登陆的2种方式落脚点是可以ssh免密进入的主机名写入动作发出主机的 known_hosts，而被无密进入主机的authorized_keys文件免密登录

摘要： cat /proc/versionLinux version 3.10.0-327.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) #1 SMP Th 阅读全文

posted @ 2017-11-20 12:49 papering 阅读(881) 评论(0) 推荐(0)

Java Virtual Machine Process Status Tool

摘要： Java Virtual Machine Process Status Tool 阅读全文

posted @ 2017-11-20 11:28 papering 阅读(182) 评论(0) 推荐(0)

Problem binding to [bigdata-server-01:9000] java.net.BindException: Cannot assign requested address;

摘要： If the port is "0", then the OS is looking for any free port -so the port-in-use and port-below-1024 problems are highly unlikely to be the cause of t 阅读全文

posted @ 2017-11-20 02:01 papering 阅读(1676) 评论(1) 推荐(0)

2017年11月19日

a completely rewritten architecture of Hadoop cluster

摘要： https://www.ibm.com/developerworks/library/bd-yarn-intro/ 阅读全文

posted @ 2017-11-19 16:24 papering 阅读(126) 评论(0) 推荐(0)

2017年11月18日

curl is a tool to transfer data from or to a server curl POST

摘要： https://curl.haxx.se/docs/manpage.html curl is a tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTP 阅读全文

posted @ 2017-11-18 01:02 papering 阅读(217) 评论(0) 推荐(0)

2017年11月17日

索引大小 975.45 MB (1,022,836,736)

摘要： 975.45 MB (1,022,836,736) 阅读全文

posted @ 2017-11-17 21:35 papering 阅读(198) 评论(0) 推荐(0)

未引入进程的系统并发并行

摘要：【同一时刻】 2个或多个事件并发 concurrence 在同一时间间隔内不同时刻发生并行同一时刻发生【计算程序 I/O程序】未引入进程的系统在属于同一个应用程序的计算程序和I/O程序之间只能是顺序执行，不能同时执行；但为计算程序和I/O程序分别建立一个进程（process）后，这两个进阅读全文

posted @ 2017-11-17 00:35 papering 阅读(334) 评论(0) 推荐(0)

2017年11月16日

动态绑定允许我们在程序运行的过程中动态给class加上功能，这在静态语言中很难实现

摘要： https://www.liaoxuefeng.com/wiki/ 阅读全文

posted @ 2017-11-16 20:58 papering 阅读(264) 评论(0) 推荐(0)

cerery

摘要： cerery http://docs.celeryproject.org/en/latest/userguide/index.html 阅读全文

posted @ 2017-11-16 20:02 papering 阅读(167) 评论(0) 推荐(0)

Acquisition、Activation、Retention、Revenue、Referral

摘要： http://www.sohu.com/a/204244301_99961855 阅读全文

posted @ 2017-11-16 13:12 papering 阅读(338) 评论(0) 推荐(0)

call by value reference name python既不是按值传递也不是按引用传递 python复制原理创建新对象与改变原对象

摘要： l=[1,2,3]def f(l): l[1]=123print(l)f(l)print(l)s="abc"def f1(s): s="x"print(s)f1(s)print(s) 可变对象浅复制，函数修改了原值不可变对象，不影响对于不可变类型（数值型、字符串、元组），因变量不能修改，所以运阅读全文

posted @ 2017-11-16 10:52 papering 阅读(333) 评论(0) 推荐(0)

2017年11月15日

Go Concurrency Patterns: Timing out, moving on

摘要： https://blog.golang.org/go-concurrency-patterns-timing-out-and https://blog.golang.org/concurrency-timeouts Go Concurrency Patterns: Timing out, movin 阅读全文

posted @ 2017-11-15 23:43 papering 阅读(218) 评论(0) 推荐(0)

Go Concurrency Patterns: Pipelines and cancellation

摘要： https://blog.golang.org/pipelines 阅读全文

posted @ 2017-11-15 23:40 papering 阅读(202) 评论(0) 推荐(0)

The threads in the thread pool will process the requests on the connections concurrently.

摘要： https://docs.oracle.com/javase/tutorial/essential/concurrency/pools.html Most of the executor implementations in java.util.concurrent use thread pools 阅读全文

posted @ 2017-11-15 22:54 papering 阅读(237) 评论(0) 推荐(0)

sticky session 粘性会话

摘要： New Elastic Load Balancing Feature: Sticky Sessions | AWS News Blog https://amazonaws-china.com/cn/blogs/aws/new-elastic-load-balancing-feature-sticky 阅读全文

posted @ 2017-11-15 20:05 papering 阅读(1243) 评论(0) 推荐(0)

the ACID properties of HBase

摘要： http://hbase.apache.org/acid-semantics.html Apache HBase (TM) is not an ACID compliant database. However, it does guarantee certain specific propertie 阅读全文

posted @ 2017-11-15 13:04 papering 阅读(221) 评论(0) 推荐(0)

kerberos

摘要： http://web.mit.edu/kerberos/ What is Kerberos? Kerberos is a network authentication protocol. It is designed to provide strong authentication for clie 阅读全文

posted @ 2017-11-15 12:52 papering 阅读(197) 评论(0) 推荐(0)

实例属性类属性实例域类域

摘要： class Student():... name = 'Student'...s = Student() # 创建实例sprint(s.name) # 打印name属性，因为实例并没有name属性，所以会继续查找class的name属性Studentprint(Student.name) # 打印类阅读全文

posted @ 2017-11-15 09:51 papering 阅读(209) 评论(0) 推荐(0)

研究数据集

摘要： http://www.sogou.com/labs/resource/list_yuliao.php 阅读全文

posted @ 2017-11-15 00:25 papering 阅读(175) 评论(0) 推荐(0)

2017年11月14日

static 静态域类域静态方法工厂方法 he use of the static keyword to create fields and methods that belong to the class, rather than to an instance of the class 非访问修饰符

摘要：总结： 1、无论一个类实例化多少对象，它的静态变量只有一份拷贝；静态域属于类，而非由类构造的实例化的对象，所有类的实例对象共享静态域。 class Employee { private static int nextId = 1; private int id; ... } 静态变量静态常量 p 阅读全文

posted @ 2017-11-14 22:15 papering 阅读(315) 评论(0) 推荐(0)

accessor mothod mutator mothod 更改器方法访问器方法类的方法可以访问类的任何一个对象的私有域!

摘要： LocalDate.plusDate String.toUpperCase GregorianCalendar.add 阅读全文

posted @ 2017-11-14 19:12 papering 阅读(461) 评论(0) 推荐(0)