papering - 博客园

2017年11月23日

摘要： [在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/python2.7] yum install git Note: The following instructions are intended for inter 阅读全文

posted @ 2017-11-23 20:35 papering 阅读(277) 评论(0) 推荐(0)

yum install git -- spark-mongo

摘要： https://github.com/mongodb/mongo-spark 阅读全文

posted @ 2017-11-23 20:32 papering 阅读(187) 评论(0) 推荐(0)

yum报错File "/usr/bin/yum", line 30 except KeyboardInterrupt, e:

摘要：原因：学python的时候，把centos7自带的python2.7改成了python3.6.2。而yum使用的是python2，所以会出现yum报错。解决方法：在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/ 阅读全文

posted @ 2017-11-23 20:27 papering 阅读(840) 评论(0) 推荐(0)

Provided Maven Coordinates must be in the form 'groupId:artifactId:version'.

摘要： [hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven C... 阅读全文

posted @ 2017-11-23 20:18 papering 阅读(1907) 评论(0) 推荐(0)

压缩解压压缩率

摘要： .gz gzip http://www.cnblogs.com/eoiioe/archive/2008/09/20/1294681.html http://www.cnblogs.com/linjiqin/archive/2013/03/24/2979736.html [root@hadoop1 l 阅读全文

posted @ 2017-11-23 17:44 papering 阅读(525) 评论(0) 推荐(0)

spark mongo 性能优化

摘要：性能优化事项 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing 阅读全文

posted @ 2017-11-23 17:09 papering 阅读(788) 评论(0) 推荐(0)

HDFS vs. MongoDB

摘要： HDFS MongoDB 共同点 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf 横向扩展，支持TB-PB级数据量低成本， x86 数据自动多份复制支持非结构化数据差异点粗颗粒阅读全文

posted @ 2017-11-23 16:59 papering 阅读(1002) 评论(0) 推荐(0)

二级索引

摘要：二级索引全局二级索引 - Amazon DynamoDB http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/GSI.html 属性投影查询全局二级索引扫描全局二级索引表与全局二级索引之间的数据同步全局二级索引的预置阅读全文

posted @ 2017-11-23 16:57 papering 阅读(484) 评论(0) 推荐(0)

Hadoop spark mongo复制集

摘要：启动hadoop cd /usr/local/hadoop/hadoop $hadoop namenode -format # 启动前格式化namenode $./sbin/start-all.sh 检查是否启动成功 [hadoop@hadoop1 hadoop]$ jps 16855 NodeManager 16999 Jps 16090 NameNode 16570 Resource... 阅读全文

posted @ 2017-11-23 16:40 papering 阅读(250) 评论(0) 推荐(0)

选举

摘要： http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 选举再来看心跳监测请求：如果a是一个 secondary，那么a会定时检测是否需要选举自己成为 primary。其检测内容包括： 1.是否集群中有其它节点认为自己是 pri 阅读全文

posted @ 2017-11-23 12:34 papering 阅读(247) 评论(0) 推荐(0)

服务降级

摘要： fire-and-forget http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 降级在 MongoDB 中，写操作默认通过 fire-and-forget 的模式来进行，也就是说写操作通常不关心是否成功，发完请求后客户端阅读全文

posted @ 2017-11-23 12:31 papering 阅读(250) 评论(0) 推荐(0)

storage engine option for directoryPerDB

摘要： Requested option conflicts with current storage engine option for directoryPerDB; you requested true but the current server storage is already set to 阅读全文

posted @ 2017-11-23 11:48 papering 阅读(662) 评论(0) 推荐(0)

bind_ip

摘要： https://docs.mongodb.com/manual/reference/configuration-options/index.html 阅读全文

posted @ 2017-11-23 10:30 papering 阅读(398) 评论(0) 推荐(0)

2017年11月22日

a column-oriented DBMS

摘要： https://clickhouse.yandex/docs/en/introduction/what_is_clickhouse.html 阅读全文

posted @ 2017-11-22 23:02 papering 阅读(186) 评论(0) 推荐(0)

程序的并发执行特征

摘要：不存在前驱关系的程序之间才有可能并发执行。 1、间断性程序并发执行时，由于它们共享系统资源，以及为完成同一项任务而相互合作，致使在这些并发执行的程序之间形成了互相制约的关系：并发程序具有“执行--暂停--执行”的间断性的活动规律。 2、失去封闭性当系统中存在着多个可以并发执行的程序时，系统中的各阅读全文

posted @ 2017-11-22 22:56 papering 阅读(10512) 评论(0) 推荐(0)

权限管理

摘要：切换用户； use admin db.auth("myClusterwideAdmin_user","admin123"); 建库，写入数据； use products; db.products.insertOne( { _id: 10, item: "box", qty: 20 } ); db.auth("products_admin","admin123"); db.products.s... 阅读全文

posted @ 2017-11-22 20:11 papering 阅读(269) 评论(0) 推荐(0)

jupyter notebook

摘要： jupyter notebook 阅读全文

posted @ 2017-11-22 19:05 papering 阅读(165) 评论(0) 推荐(0)

认证（Authentication）与授权（Authorization）是两个不同的概念 401 403

摘要：小结： 1）认证（Authentication）401 授权（Authorization）403 验证和授权是两件事情：验证（Authentication）是为了确定用户是其申明的身份，比如提供账户的密码。不然的话，任何人伪造成其他身份（比如其他用户或者管理员）是非常危险的授权（Authori 阅读全文

posted @ 2017-11-22 16:22 papering 阅读(1342) 评论(0) 推荐(0)

论常识思维的重要性

摘要： mongo是一种数据库；而一种数据库，当然有权限控制；而权限控制肯定是在读写数据之前就存在的！阅读全文

posted @ 2017-11-22 10:39 papering 阅读(219) 评论(0) 推荐(0)

Mongo.setReadPref(mode, tagSet) primaries and secondaries are treated equivalently. 读优先级策略

摘要： https://docs.mongodb.com/manual/reference/method/Mongo.setReadPref/#Mongo.setReadPref Mongo.setReadPref(mode, tagSet) Call the setReadPref() method on 阅读全文

posted @ 2017-11-22 10:29 papering 阅读(323) 评论(0) 推荐(0)

add time to file name

摘要： add time to file name echo 123 > $(date +"%Y%m%d_%H%M%S").now; 阅读全文

posted @ 2017-11-22 07:51 papering 阅读(194) 评论(0) 推荐(0)

2017年11月21日

because joins aren’t as important.

摘要： “MongoDB wasn’t designed in a lab. We built MongoDB from our own experiences building large-scale, high availability, robust systems. We didn’t start 阅读全文

posted @ 2017-11-21 22:29 papering 阅读(209) 评论(0) 推荐(0)

mongo 原理 Replica Set Oplog

摘要：【客户的写请求全部发送至主节点】 Primary. The primary receives all write operations. Secondaries. Secondaries replicate operations from the primary to maintain an ide 阅读全文

posted @ 2017-11-21 18:01 papering 阅读(381) 评论(0) 推荐(0)

monggodb 复制集集群搭建

摘要： https://docs.mongodb.com/manual/tutorial/enable-authentication/ Overview Enabling access control on a MongoDB deployment enforces authentication, requ 阅读全文

posted @ 2017-11-21 17:03 papering 阅读(317) 评论(0) 推荐(0)

ermissions on /usr/local/mongodb/conf/keyFile are too open

摘要： ermissions on /usr/local/mongodb/conf/keyFile are too open 阅读全文

posted @ 2017-11-21 12:29 papering 阅读(342) 评论(0) 推荐(0)

关闭mongodb 集群

摘要： https://docs.mongodb.com/manual/reference/glossary/#term-master mongoThe MongoDB shell. The mongo process starts the MongoDB shell as a daemon connect 阅读全文

posted @ 2017-11-21 10:10 papering 阅读(2250) 评论(0) 推荐(0)

ln mv 发挥一个物体的元作用

摘要： # 阅读全文

posted @ 2017-11-21 09:33 papering 阅读(269) 评论(0) 推荐(0)

Hadoop_stack_cmd

摘要： HDFS命令基本格式：Hadoop fs -cmd < args > HDFS命令基本格式：Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件阅读全文

posted @ 2017-11-21 08:12 papering 阅读(247) 评论(0) 推荐(0)

hadoop 集群搭建配置 spark yarn 对效率的提升永无止境 Hadoop Volume 配置

摘要：【手动验证：任意2个节点间是否实现双向 ssh免密登录】弄懂通信原理和集群的容错性任意2个节点间实现双向 ssh免密登录，默认在~目录下【实现上步后，在其中任一节点安装\配置hadoop后，可以将整个安装目录scp复制到各个节点：：：：各个节点的文件内容是一样的！！！！】 3节点 spark 阅读全文

posted @ 2017-11-21 00:11 papering 阅读(2494) 评论(0) 推荐(0)

2017年11月20日

spark通信原理

摘要： https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/network https://github.com/apache/spark/blob/master/core/src/main/sca 阅读全文

posted @ 2017-11-20 19:39 papering 阅读(470) 评论(0) 推荐(0)

hdfs 3种通讯协议

摘要： http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 通讯协议所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode，通过ClientProtocol协议与Namenode交互。而Da 阅读全文

posted @ 2017-11-20 18:55 papering 阅读(2665) 评论(0) 推荐(0)

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件

摘要： HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后阅读全文

posted @ 2017-11-20 18:52 papering 阅读(451) 评论(0) 推荐(0)

NameNode实现了三个接口

摘要： NameNode实现了三个接口阅读全文

posted @ 2017-11-20 18:15 papering 阅读(200) 评论(0) 推荐(0)

MongoDB Connector for Hadoop

摘要： https://github.com/mongodb/mongo-hadoop https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage 阅读全文

posted @ 2017-11-20 17:22 papering 阅读(192) 评论(0) 推荐(0)

Java Virtual Machine (JVM) objects 虚拟机实例的产生退出两种线程

摘要： Apache Spark is built around a distributed collection of immutable Java Virtual Machine (JVM) objects called Resilient Distributed Datasets (RDDs for 阅读全文

posted @ 2017-11-20 17:12 papering 阅读(272) 评论(0) 推荐(0)

Google's language-neutral, platform-neutral, extensible mechanism for serializing structured data.

摘要： https://github.com/google/protobuf/ 阅读全文

posted @ 2017-11-20 13:46 papering 阅读(436) 评论(0) 推荐(0)

配置hadoop用户SSH无密码登陆的2种方式落脚点是可以ssh免密进入的主机名写入动作发出主机的 known_hosts，而被无密进入主机的authorized_keys文件免密登录

摘要： cat /proc/versionLinux version 3.10.0-327.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) #1 SMP Th 阅读全文

posted @ 2017-11-20 12:49 papering 阅读(914) 评论(0) 推荐(0)

Java Virtual Machine Process Status Tool

摘要： Java Virtual Machine Process Status Tool 阅读全文

posted @ 2017-11-20 11:28 papering 阅读(193) 评论(0) 推荐(0)

Problem binding to [bigdata-server-01:9000] java.net.BindException: Cannot assign requested address;

摘要： If the port is "0", then the OS is looking for any free port -so the port-in-use and port-below-1024 problems are highly unlikely to be the cause of t 阅读全文

posted @ 2017-11-20 02:01 papering 阅读(1710) 评论(1) 推荐(0)

2017年11月19日

a completely rewritten architecture of Hadoop cluster

摘要： https://www.ibm.com/developerworks/library/bd-yarn-intro/ 阅读全文

posted @ 2017-11-19 16:24 papering 阅读(136) 评论(0) 推荐(0)