papering - 博客园

2017年11月24日

摘要： Maven wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo yum -y install apa 阅读全文

posted @ 2017-11-24 21:06 papering 阅读(417) 评论(0) 推荐(0)

定义构建软件的一般接口

摘要： maven成功的核心原因阅读全文

posted @ 2017-11-24 21:01 papering 阅读(185) 评论(0) 推荐(0)

NameNode和JobTracker的网络接口

摘要： Hadoop快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 阅读全文

posted @ 2017-11-24 17:17 papering 阅读(208) 评论(0) 推荐(0)

Java-JDK-bin-Java-JR

摘要： Java in JDK\bin vs. Java in JRE\bin (Java in General forum at Coderanch) https://coderanch.com/t/385005/java/Java-JDK-bin-Java-JRE 阅读全文

posted @ 2017-11-24 16:14 papering 阅读(293) 评论(0) 推荐(0)

安装sbt

摘要： http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Linux.html [root@hadoop1 target]# curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo % Total % Received % Xferd Average Spe... 阅读全文

posted @ 2017-11-24 14:43 papering 阅读(418) 评论(0) 推荐(0)

ivy

摘要： ivy https://ant.apache.org/ivy/ Apache Ivy™ is a popular dependency manager focusing on flexibility and simplicity.Find out more about its unique ente 阅读全文

posted @ 2017-11-24 09:41 papering 阅读(224) 评论(0) 推荐(0)

解决pyspark-linux-windowsIDE JAVA_HOME not set

摘要：对阅读全文

posted @ 2017-11-24 09:12 papering 阅读(1309) 评论(0) 推荐(0)

Spark SQL is a Spark module for structured data processing.

摘要： http://spark.apache.org/docs/latest/sql-programming-guide.html 阅读全文

posted @ 2017-11-24 08:53 papering 阅读(187) 评论(0) 推荐(0)

摘要： a 搜索复制阅读全文

posted @ 2017-11-24 08:33 papering 阅读(139) 评论(0) 推荐(0)

2017年11月23日

公钥进行加密的数据，只能用私钥才能解密

摘要： https://zhuanlan.zhihu.com/p/28423720 阅读全文

posted @ 2017-11-23 23:07 papering 阅读(716) 评论(0) 推荐(0)

sbt is a build tool for Scala, Java, and more

摘要： http://www.scala-sbt.org/0.13/docs/index.html sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later. Install See Installing sbt 阅读全文

posted @ 2017-11-23 20:49 papering 阅读(370) 评论(0) 推荐(0)

MongoDB Spark Connector

摘要： [在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/python2.7] yum install git Note: The following instructions are intended for inter 阅读全文

posted @ 2017-11-23 20:35 papering 阅读(282) 评论(0) 推荐(0)

yum install git -- spark-mongo

摘要： https://github.com/mongodb/mongo-spark 阅读全文

posted @ 2017-11-23 20:32 papering 阅读(191) 评论(0) 推荐(0)

yum报错File "/usr/bin/yum", line 30 except KeyboardInterrupt, e:

摘要：原因：学python的时候，把centos7自带的python2.7改成了python3.6.2。而yum使用的是python2，所以会出现yum报错。解决方法：在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/ 阅读全文

posted @ 2017-11-23 20:27 papering 阅读(847) 评论(0) 推荐(0)

Provided Maven Coordinates must be in the form 'groupId:artifactId:version'.

摘要： [hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven C... 阅读全文

posted @ 2017-11-23 20:18 papering 阅读(1911) 评论(0) 推荐(0)

压缩解压压缩率

摘要： .gz gzip http://www.cnblogs.com/eoiioe/archive/2008/09/20/1294681.html http://www.cnblogs.com/linjiqin/archive/2013/03/24/2979736.html [root@hadoop1 l 阅读全文

posted @ 2017-11-23 17:44 papering 阅读(532) 评论(0) 推荐(0)

spark mongo 性能优化

摘要：性能优化事项 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing 阅读全文

posted @ 2017-11-23 17:09 papering 阅读(794) 评论(0) 推荐(0)

HDFS vs. MongoDB

摘要： HDFS MongoDB 共同点 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf 横向扩展，支持TB-PB级数据量低成本， x86 数据自动多份复制支持非结构化数据差异点粗颗粒阅读全文

posted @ 2017-11-23 16:59 papering 阅读(1005) 评论(0) 推荐(0)

二级索引

摘要：二级索引全局二级索引 - Amazon DynamoDB http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/GSI.html 属性投影查询全局二级索引扫描全局二级索引表与全局二级索引之间的数据同步全局二级索引的预置阅读全文

posted @ 2017-11-23 16:57 papering 阅读(494) 评论(0) 推荐(0)

Hadoop spark mongo复制集

摘要：启动hadoop cd /usr/local/hadoop/hadoop $hadoop namenode -format # 启动前格式化namenode $./sbin/start-all.sh 检查是否启动成功 [hadoop@hadoop1 hadoop]$ jps 16855 NodeManager 16999 Jps 16090 NameNode 16570 Resource... 阅读全文

posted @ 2017-11-23 16:40 papering 阅读(256) 评论(0) 推荐(0)

选举

摘要： http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 选举再来看心跳监测请求：如果a是一个 secondary，那么a会定时检测是否需要选举自己成为 primary。其检测内容包括： 1.是否集群中有其它节点认为自己是 pri 阅读全文

posted @ 2017-11-23 12:34 papering 阅读(252) 评论(0) 推荐(0)

服务降级

摘要： fire-and-forget http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 降级在 MongoDB 中，写操作默认通过 fire-and-forget 的模式来进行，也就是说写操作通常不关心是否成功，发完请求后客户端阅读全文

posted @ 2017-11-23 12:31 papering 阅读(258) 评论(0) 推荐(0)

storage engine option for directoryPerDB

摘要： Requested option conflicts with current storage engine option for directoryPerDB; you requested true but the current server storage is already set to 阅读全文

posted @ 2017-11-23 11:48 papering 阅读(671) 评论(0) 推荐(0)

bind_ip

摘要： https://docs.mongodb.com/manual/reference/configuration-options/index.html 阅读全文

posted @ 2017-11-23 10:30 papering 阅读(402) 评论(0) 推荐(0)

2017年11月22日

a column-oriented DBMS

摘要： https://clickhouse.yandex/docs/en/introduction/what_is_clickhouse.html 阅读全文

posted @ 2017-11-22 23:02 papering 阅读(194) 评论(0) 推荐(0)

程序的并发执行特征

摘要：不存在前驱关系的程序之间才有可能并发执行。 1、间断性程序并发执行时，由于它们共享系统资源，以及为完成同一项任务而相互合作，致使在这些并发执行的程序之间形成了互相制约的关系：并发程序具有“执行--暂停--执行”的间断性的活动规律。 2、失去封闭性当系统中存在着多个可以并发执行的程序时，系统中的各阅读全文

posted @ 2017-11-22 22:56 papering 阅读(10524) 评论(0) 推荐(0)

权限管理

摘要：切换用户； use admin db.auth("myClusterwideAdmin_user","admin123"); 建库，写入数据； use products; db.products.insertOne( { _id: 10, item: "box", qty: 20 } ); db.auth("products_admin","admin123"); db.products.s... 阅读全文

posted @ 2017-11-22 20:11 papering 阅读(276) 评论(0) 推荐(0)

jupyter notebook

摘要： jupyter notebook 阅读全文

posted @ 2017-11-22 19:05 papering 阅读(167) 评论(0) 推荐(0)

认证（Authentication）与授权（Authorization）是两个不同的概念 401 403

摘要：小结： 1）认证（Authentication）401 授权（Authorization）403 验证和授权是两件事情：验证（Authentication）是为了确定用户是其申明的身份，比如提供账户的密码。不然的话，任何人伪造成其他身份（比如其他用户或者管理员）是非常危险的授权（Authori 阅读全文

posted @ 2017-11-22 16:22 papering 阅读(1350) 评论(0) 推荐(0)

论常识思维的重要性

摘要： mongo是一种数据库；而一种数据库，当然有权限控制；而权限控制肯定是在读写数据之前就存在的！阅读全文

posted @ 2017-11-22 10:39 papering 阅读(225) 评论(0) 推荐(0)

Mongo.setReadPref(mode, tagSet) primaries and secondaries are treated equivalently. 读优先级策略

摘要： https://docs.mongodb.com/manual/reference/method/Mongo.setReadPref/#Mongo.setReadPref Mongo.setReadPref(mode, tagSet) Call the setReadPref() method on 阅读全文

posted @ 2017-11-22 10:29 papering 阅读(334) 评论(0) 推荐(0)

add time to file name

摘要： add time to file name echo 123 > $(date +"%Y%m%d_%H%M%S").now; 阅读全文

posted @ 2017-11-22 07:51 papering 阅读(204) 评论(0) 推荐(0)

2017年11月21日

because joins aren’t as important.

摘要： “MongoDB wasn’t designed in a lab. We built MongoDB from our own experiences building large-scale, high availability, robust systems. We didn’t start 阅读全文

posted @ 2017-11-21 22:29 papering 阅读(214) 评论(0) 推荐(0)

mongo 原理 Replica Set Oplog

摘要：【客户的写请求全部发送至主节点】 Primary. The primary receives all write operations. Secondaries. Secondaries replicate operations from the primary to maintain an ide 阅读全文

posted @ 2017-11-21 18:01 papering 阅读(387) 评论(0) 推荐(0)

monggodb 复制集集群搭建

摘要： https://docs.mongodb.com/manual/tutorial/enable-authentication/ Overview Enabling access control on a MongoDB deployment enforces authentication, requ 阅读全文

posted @ 2017-11-21 17:03 papering 阅读(324) 评论(0) 推荐(0)

ermissions on /usr/local/mongodb/conf/keyFile are too open

摘要： ermissions on /usr/local/mongodb/conf/keyFile are too open 阅读全文

posted @ 2017-11-21 12:29 papering 阅读(347) 评论(0) 推荐(0)

关闭mongodb 集群

摘要： https://docs.mongodb.com/manual/reference/glossary/#term-master mongoThe MongoDB shell. The mongo process starts the MongoDB shell as a daemon connect 阅读全文

posted @ 2017-11-21 10:10 papering 阅读(2255) 评论(0) 推荐(0)

ln mv 发挥一个物体的元作用

摘要： # 阅读全文

posted @ 2017-11-21 09:33 papering 阅读(274) 评论(0) 推荐(0)

Hadoop_stack_cmd

摘要： HDFS命令基本格式：Hadoop fs -cmd < args > HDFS命令基本格式：Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件阅读全文

posted @ 2017-11-21 08:12 papering 阅读(256) 评论(0) 推荐(0)

hadoop 集群搭建配置 spark yarn 对效率的提升永无止境 Hadoop Volume 配置

摘要：【手动验证：任意2个节点间是否实现双向 ssh免密登录】弄懂通信原理和集群的容错性任意2个节点间实现双向 ssh免密登录，默认在~目录下【实现上步后，在其中任一节点安装\配置hadoop后，可以将整个安装目录scp复制到各个节点：：：：各个节点的文件内容是一样的！！！！】 3节点 spark 阅读全文

posted @ 2017-11-21 00:11 papering 阅读(2500) 评论(0) 推荐(0)