不忘初衷,方能致远

scala 笔记

摘要： 1. scala 的函数的参数默认都是val类型的2. _ 参数占位符3. 偏应用函数，类似于python 函数赋值到另外一个变量：def sum(a,b,c): return a+b+csum(1,2,3) // 输出6a = suma(1,2,3) // 输出6 在scala中：def ... 阅读全文

posted @ 2015-05-01 16:29 不忘初衷,方能致远阅读(413) 评论(0) 推荐(0)

搭建hadoop2.6.0集群遇到fs.defaultFS的问题

摘要： fs.defaultFS 搞了半天，发现设置成fs.default.name 就可以了（其中还有只改了namenode 中的fs.defaultFS 为fs.default.name）。可能是因为我并不是用 namenode ha 的原因，所以得用fs.default.name 阅读全文

posted @ 2015-04-30 02:29 不忘初衷,方能致远阅读(2997) 评论(0) 推荐(0)

Spark 之旅一

摘要：一、spark是什么一个集群计算框架或者说分布式计算框架，最初目标是解决或者替代mapreduce磁盘读写开销的。是伯克利BDAS的一个基础部分。BDAS框架：特性：基于内存,而不是磁盘，性能比mapreduce有了显著提高RDD，resilient distribution datasetScal... 阅读全文

posted @ 2015-04-29 15:56 不忘初衷,方能致远阅读(293) 评论(0) 推荐(0)

hash算法

摘要：单调性Monotonicity：当缓存增加或者减少时，尽量保护原来被映射的内容不会被映射到新的缓存去分散性：不同的客户端可能看到的缓存不一样多（主要对于分布式缓存中得hash算法把），于是相同的内容在不同的客户端被映射到不同的缓存。尽量要避免这种情况。平衡性：尽量均衡把（一致性hash，虚拟节点）... 阅读全文

posted @ 2015-04-16 11:23 不忘初衷,方能致远阅读(277) 评论(0) 推荐(0)

服务器

摘要： nginx/lighthttpd/apachesquidtomcat/uwsgi+django ？阅读全文

posted @ 2015-04-10 14:44 不忘初衷,方能致远阅读(169) 评论(0) 推荐(0)

新用到的一个c++项目编译构建工具---blade

摘要：在linux平台，以前makefile，cmake.... 各种难用和繁琐blade 据说是腾讯搞出来的，好吧还不错，企鹅继续加油！采用python开发的。首先，Blade解决了依赖问题。当你在构建某些目标时，头文件有变化，会自动重新构建。最方便的是，Blade也能追踪库文件的依赖关系。比如 ... 阅读全文

posted @ 2015-04-10 09:49 不忘初衷,方能致远阅读(6333) 评论(0) 推荐(0)

Linux 登陆认证

摘要： PAM: pluggable authentication modules for linuxhttp://www.linux-pam.org/whatispam.htmlA suite of shared libraries that enable the local system adminis... 阅读全文

posted @ 2015-03-31 17:15 不忘初衷,方能致远阅读(181) 评论(0) 推荐(0)

数据预处理

摘要：定量属性(数值的)：区间，比率等定性属性(标识的)：标识，序号等聚集：删除数据的属性值（如一个商店的事务代替所有商店的事务）或者合并属性的值（如取值从1-365日合并为取值为1-12月）。关键是找出聚集事务，一般定性属性采用忽略或者汇总方法，定量属性采用求和或求平均方法抽样：随机抽样(返回抽... 阅读全文

posted @ 2015-03-25 17:11 不忘初衷,方能致远阅读(172) 评论(0) 推荐(0)

hbase 简介

摘要： http://blog.csdn.net/woshiwanxin102213/article/details/17584043http://www.uml.org.cn/sjjm/201212141.asp 阅读全文

posted @ 2015-03-21 22:57 不忘初衷,方能致远阅读(130) 评论(0) 推荐(0)

kafka 介绍

摘要： Kafka is a distributed, partitioned, replicated commit log service.Terms:Topic: kafka maintains message in categories called topicsProducer: processes... 阅读全文

posted @ 2015-03-16 19:14 不忘初衷,方能致远阅读(408) 评论(0) 推荐(0)

不忘初衷,方能致远

导航

公告