papering - 博客园

2017年11月26日

摘要：由于实际环境较为复杂，从Spark官方下载二进制安装包可能不具有相关功能或不支持指定的软件版本，这就需要我们根据实际情况编译Spark源代码，生成所需要的部署包。 Spark可以通过Maven和SBT两种方式进行编译，再通过make-distribution.sh脚本生成部署包 Maven方式编译需阅读全文

posted @ 2017-11-26 09:53 papering 阅读(345) 评论(0) 推荐(0)

ES-Hadoop

摘要： ES-Hadoop 阅读全文

posted @ 2017-11-26 01:16 papering 阅读(131) 评论(0) 推荐(0)

多线程上下文切换诱因

摘要： 11. 标准库简介 —— 第二部分 — Python 3.11.3 文档 https://docs.python.org/zh-cn/3/tutorial/stdlib2.html 线程是一种对于非顺序依赖的多个任务进行解耦的技术。多线程可以提高应用的响应效率，当接收用户输入的同时，保持其他任务在后阅读全文

posted @ 2017-11-26 00:29 papering 阅读(624) 评论(0) 推荐(0)

用户态切换到内核态的3种方式

摘要： https://baike.baidu.com/item/核心态/6845908 在处理器的存储保护中，主要有两种权限状态，一种是核心态（管态），也被称为特权态；一种是用户态（目态）。核心态是操作系统内核所运行的模式，运行在该模式的代码，可以无限制地对系统存储、外部设备进行访问。中文名核心态又称阅读全文

posted @ 2017-11-26 00:19 papering 阅读(4445) 评论(0) 推荐(0)

2017年11月25日

vim_action

摘要： gg 到首行第一个非空白字符处 :$ 到尾行第一个非空白字符处 dG 删除全部 VI中的多行删除与复制 - CSDN博客 http://blog.csdn.net/wallwind/article/details/7633356 复制多行 23,34 co 78 将23-34行的复制到78行 :23 阅读全文

posted @ 2017-11-25 20:54 papering 阅读(198) 评论(0) 推荐(0)

import date

摘要： date 阅读全文

posted @ 2017-11-25 14:02 papering 阅读(198) 评论(0) 推荐(0)

__sizeof__()

摘要： https://bugs.python.org/issue2898 https://bugs.python.org/file10353/footprint.patch A new function, getsizeof(), takes a Python object and returns the 阅读全文

posted @ 2017-11-25 11:34 papering 阅读(318) 评论(0) 推荐(0)

classmethod staticmethod

摘要： decorator Glossary — Python 3.6.3 documentation https://docs.python.org/3/glossary.html decorator A function returning another function, usually appli 阅读全文

posted @ 2017-11-25 09:57 papering 阅读(226) 评论(0) 推荐(0)

Java对对象的引用不是引用调用而是按值引用 Java不存在引用调用

摘要： call by reference Java call by value 阅读全文

posted @ 2017-11-25 08:09 papering 阅读(254) 评论(0) 推荐(0)

多线程同步

摘要： w 阅读全文

posted @ 2017-11-25 00:10 papering 阅读(141) 评论(0) 推荐(0)

2017年11月24日

Does Hadoop require SSH?

摘要： https://wiki.apache.org/hadoop/FAQ#Does_Hadoop_require_SSH.3F Hadoop provided scripts (e.g., start-mapred.sh and start-dfs.sh) use ssh in order to sta 阅读全文

posted @ 2017-11-24 22:50 papering 阅读(139) 评论(0) 推荐(0)

hdfs namenode出错

摘要： http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 健壮性 HDFS的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是：Namenode出错, Datanode出错和网络割裂(network partition 阅读全文

posted @ 2017-11-24 22:47 papering 阅读(306) 评论(0) 推荐(0)

软件项目的一致性语义描述

摘要： Maven wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo yum -y install apa 阅读全文

posted @ 2017-11-24 21:06 papering 阅读(389) 评论(0) 推荐(0)

定义构建软件的一般接口

摘要： maven成功的核心原因阅读全文

posted @ 2017-11-24 21:01 papering 阅读(174) 评论(0) 推荐(0)

NameNode和JobTracker的网络接口

摘要： Hadoop快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 阅读全文

posted @ 2017-11-24 17:17 papering 阅读(191) 评论(0) 推荐(0)

Java-JDK-bin-Java-JR

摘要： Java in JDK\bin vs. Java in JRE\bin (Java in General forum at Coderanch) https://coderanch.com/t/385005/java/Java-JDK-bin-Java-JRE 阅读全文

posted @ 2017-11-24 16:14 papering 阅读(266) 评论(0) 推荐(0)

安装sbt

摘要： http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Linux.html [root@hadoop1 target]# curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo % Total % Received % Xferd Average Spe... 阅读全文

posted @ 2017-11-24 14:43 papering 阅读(376) 评论(0) 推荐(0)

ivy

摘要： ivy https://ant.apache.org/ivy/ Apache Ivy™ is a popular dependency manager focusing on flexibility and simplicity.Find out more about its unique ente 阅读全文

posted @ 2017-11-24 09:41 papering 阅读(189) 评论(0) 推荐(0)

解决pyspark-linux-windowsIDE JAVA_HOME not set

摘要：对阅读全文

posted @ 2017-11-24 09:12 papering 阅读(1279) 评论(0) 推荐(0)

Spark SQL is a Spark module for structured data processing.

摘要： http://spark.apache.org/docs/latest/sql-programming-guide.html 阅读全文

posted @ 2017-11-24 08:53 papering 阅读(133) 评论(0) 推荐(0)

摘要： a 搜索复制阅读全文

posted @ 2017-11-24 08:33 papering 阅读(127) 评论(0) 推荐(0)

2017年11月23日

公钥进行加密的数据，只能用私钥才能解密

摘要： https://zhuanlan.zhihu.com/p/28423720 阅读全文

posted @ 2017-11-23 23:07 papering 阅读(706) 评论(0) 推荐(0)

sbt is a build tool for Scala, Java, and more

摘要： http://www.scala-sbt.org/0.13/docs/index.html sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later. Install See Installing sbt 阅读全文

posted @ 2017-11-23 20:49 papering 阅读(335) 评论(0) 推荐(0)

MongoDB Spark Connector

摘要： [在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/python2.7] yum install git Note: The following instructions are intended for inter 阅读全文

posted @ 2017-11-23 20:35 papering 阅读(246) 评论(0) 推荐(0)

yum install git -- spark-mongo

摘要： https://github.com/mongodb/mongo-spark 阅读全文

posted @ 2017-11-23 20:32 papering 阅读(176) 评论(0) 推荐(0)

yum报错File "/usr/bin/yum", line 30 except KeyboardInterrupt, e:

摘要：原因：学python的时候，把centos7自带的python2.7改成了python3.6.2。而yum使用的是python2，所以会出现yum报错。解决方法：在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/ 阅读全文

posted @ 2017-11-23 20:27 papering 阅读(772) 评论(0) 推荐(0)

Provided Maven Coordinates must be in the form 'groupId:artifactId:version'.

摘要： [hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven C... 阅读全文

posted @ 2017-11-23 20:18 papering 阅读(1873) 评论(0) 推荐(0)

压缩解压压缩率

摘要： .gz gzip http://www.cnblogs.com/eoiioe/archive/2008/09/20/1294681.html http://www.cnblogs.com/linjiqin/archive/2013/03/24/2979736.html [root@hadoop1 l 阅读全文

posted @ 2017-11-23 17:44 papering 阅读(498) 评论(0) 推荐(0)

spark mongo 性能优化

摘要：性能优化事项 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing 阅读全文

posted @ 2017-11-23 17:09 papering 阅读(761) 评论(0) 推荐(0)

HDFS vs. MongoDB

摘要： HDFS MongoDB 共同点 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf 横向扩展，支持TB-PB级数据量低成本， x86 数据自动多份复制支持非结构化数据差异点粗颗粒阅读全文

posted @ 2017-11-23 16:59 papering 阅读(992) 评论(0) 推荐(0)

二级索引

摘要：二级索引全局二级索引 - Amazon DynamoDB http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/GSI.html 属性投影查询全局二级索引扫描全局二级索引表与全局二级索引之间的数据同步全局二级索引的预置阅读全文

posted @ 2017-11-23 16:57 papering 阅读(464) 评论(0) 推荐(0)

Hadoop spark mongo复制集

摘要：启动hadoop cd /usr/local/hadoop/hadoop $hadoop namenode -format # 启动前格式化namenode $./sbin/start-all.sh 检查是否启动成功 [hadoop@hadoop1 hadoop]$ jps 16855 NodeManager 16999 Jps 16090 NameNode 16570 Resource... 阅读全文

posted @ 2017-11-23 16:40 papering 阅读(237) 评论(0) 推荐(0)

选举

摘要： http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 选举再来看心跳监测请求：如果a是一个 secondary，那么a会定时检测是否需要选举自己成为 primary。其检测内容包括： 1.是否集群中有其它节点认为自己是 pri 阅读全文

posted @ 2017-11-23 12:34 papering 阅读(225) 评论(0) 推荐(0)

服务降级

摘要： fire-and-forget http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 降级在 MongoDB 中，写操作默认通过 fire-and-forget 的模式来进行，也就是说写操作通常不关心是否成功，发完请求后客户端阅读全文

posted @ 2017-11-23 12:31 papering 阅读(232) 评论(0) 推荐(0)

storage engine option for directoryPerDB

摘要： Requested option conflicts with current storage engine option for directoryPerDB; you requested true but the current server storage is already set to 阅读全文

posted @ 2017-11-23 11:48 papering 阅读(635) 评论(0) 推荐(0)

bind_ip

摘要： https://docs.mongodb.com/manual/reference/configuration-options/index.html 阅读全文

posted @ 2017-11-23 10:30 papering 阅读(378) 评论(0) 推荐(0)

2017年11月22日

a column-oriented DBMS

摘要： https://clickhouse.yandex/docs/en/introduction/what_is_clickhouse.html 阅读全文

posted @ 2017-11-22 23:02 papering 阅读(160) 评论(0) 推荐(0)

程序的并发执行特征

摘要：不存在前驱关系的程序之间才有可能并发执行。 1、间断性程序并发执行时，由于它们共享系统资源，以及为完成同一项任务而相互合作，致使在这些并发执行的程序之间形成了互相制约的关系：并发程序具有“执行--暂停--执行”的间断性的活动规律。 2、失去封闭性当系统中存在着多个可以并发执行的程序时，系统中的各阅读全文

posted @ 2017-11-22 22:56 papering 阅读(10487) 评论(0) 推荐(0)

权限管理

摘要：切换用户； use admin db.auth("myClusterwideAdmin_user","admin123"); 建库，写入数据； use products; db.products.insertOne( { _id: 10, item: "box", qty: 20 } ); db.auth("products_admin","admin123"); db.products.s... 阅读全文

posted @ 2017-11-22 20:11 papering 阅读(240) 评论(0) 推荐(0)

jupyter notebook

摘要： jupyter notebook 阅读全文

posted @ 2017-11-22 19:05 papering 阅读(156) 评论(0) 推荐(0)