爱你一万年123

Spark学习笔记（一）--Spark架构

摘要： Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；Worker相当于是计算节点，接收主节点命令与进行状态汇报；... 阅读全文

posted @ 2016-03-10 11:15 爱你一万年123 阅读(626) 评论(0) 推荐(0)

比特币加密技术之椭圆曲线密码学

摘要：在⽐特币系统中，我们⽤公钥加密创建⼀个密钥对，⽤于控制⽐特币的获取。密钥对包括⼀个私钥，和由其衍⽣出的唯⼀的公钥。公钥⽤于接收⽐特币，⽽私钥⽤于⽐特币⽀付时的交易签名。公钥和私钥之间的数学关系，使得私钥可⽤于⽣成特定消息的签名。此签名可以在不泄露私钥的同时对公钥进⾏... 阅读全文

posted @ 2016-03-03 17:20 爱你一万年123 阅读(514) 评论(0) 推荐(0)

Linux文件系统基础(3)

摘要：本文首发于 http://oliveryang.net，转载时请包含原文或者作者网站链接。文件系统 mount 和 Super Block Samplefs day2 的代码涉及到了文件系统 mount 和 Super Block (超级块)的实现。本文将以 day2 的代码为例，... 阅读全文

posted @ 2016-03-02 18:48 爱你一万年123 阅读(296) 评论(0) 推荐(0)

Linux文件系统基础(2)

摘要：本文首发于 http://oliveryang.net，转载时请包含原文或者作者网站链接。文件系统注册本文将以Samplefs Day1为例来说明文件系统注册的相关概念。简单文件系统(samplefs)是Steve French写的用于教学目的的文件系统。它的设计初衷是帮助初学者... 阅读全文

posted @ 2016-03-01 19:58 爱你一万年123 阅读(307) 评论(0) 推荐(0)

《machine learning with spark》学习笔记--文本挖掘

摘要： We will introduce more advanced text processing techniques available in MLlib to work with large-scale text datasets.In this article, we will... 阅读全文

posted @ 2016-02-15 21:11 爱你一万年123 阅读(188) 评论(0) 推荐(0)

《machine learning with spark》学习笔记--聚类

摘要： Next, we will consider the case when we do not have labeled data available.This is called unsupervised learning, as the model is not supervis... 阅读全文

posted @ 2016-02-14 23:01 爱你一万年123 阅读(148) 评论(0) 推荐(0)

《machine learning with spark》学习笔记--分类

摘要： In this article, you will learn the basics of classification models and how they can be used in a variety of contexts. Classification generic... 阅读全文

posted @ 2016-02-13 22:09 爱你一万年123 阅读(230) 评论(0) 推荐(0)

Linux NUMA优化(1)

摘要：本文首发于http://oliveryang.net，转载时请包含原文或者作者网站链接。x86 NUMA的那些概念1. 多处理器架构理解NUMA的概念首先要熟悉多处理器计算机系统的几个重要概念。1.1 SMP vs. AMPSMP(Symmetric Multiprocessi... 阅读全文

posted @ 2016-02-12 12:43 爱你一万年123 阅读(926) 评论(0) 推荐(0)

数据保护的那点儿事儿(1)

摘要：本文首发于http://oliveryang.net，转载时请包含原文或者作者网站链接。数据保护的那点儿事儿数据保护就是保护数据使其免于数据损坏(Data Corruption)和数据丢失(Data Loss)的过程。常见的数据保护方式主要有以下两大类，备份(Backup)备份... 阅读全文

posted @ 2016-02-11 10:37 爱你一万年123 阅读(414) 评论(0) 推荐(0)

VMware存储栈那点儿事儿

摘要：本文首发于http://oliveryang.net，转载时请包含原文或者作者网站链接。VMware存储栈那点儿事儿解释什么是Virtual Machine的工作就交给万能的维基百科了。本篇文章只限于VMware vShpere VMKernel的Storage Stack(存... 阅读全文

posted @ 2016-02-10 10:56 爱你一万年123 阅读(941) 评论(0) 推荐(0)