keep thinking

摘要： 《Spark快速大数据分析》8.4.2关键性能考量 序列化格式当Spark需要通过网络传输数据，或是将数据写到磁盘上时，Spark需要把数据序列化为二进制格式。序列化会在数据进行混洗操作时发生，此时有可能需要通过网络传输大量数据。默认情况下，Spark会使用Java内建的序列化库。Spark也支持使... 阅读全文

摘要： 原文链接 http://blog.chinaunix.net/uid-25445243-id-3206874.html功能：为某一个文件或目录在另外一个位置建立一个同步的链接，类似Windows下的超级链接。这个命令最常用的参数是-s，具体用法是：sudo ln -s 源文件 目标文件 当我们需要在... 阅读全文

摘要： 原文链接 http://blog.csdn.net/zyz511919766/article/details/42268219redis配置密码1.通过配置文件进行配置yum方式安装的redis配置文件通常在/etc/redis.conf中，打开配置文件找到[plain]view plaincopy... 阅读全文

摘要： 原文链接 http://www.cnblogs.com/zhangzili/p/4975080.htmlMongoDB 知识要点一览1、启动mongoDb数据库： 进入mongoDB的安装目录，执行如下命令 C:\Program Files\MongoDB\Server\3.0\bin>mong... 阅读全文

摘要： 《Spark快速大数据分析》8.4关键性能考量并行度RDD的逻辑表示其实是一个对象的集合。在物理执行期间，RDD会被分为一系列的分区，每个分区都是整个数据的子集。当Spark调度并运行任务时，Spark会为每个分区中的数据创建出一个任务，该任务在默认情况下会需要集群中的一个计算节点来执行。Spark... 阅读全文