摘要： http://www.cnblogs.com/forfuture1978/archive/2010/11/23/1884967.html 一篇讲的很好的 hadoop 基本运行环境配置信息 阅读全文

摘要： 一、HashMap是错误的：因为int是基本类型，而key和value要求是对象，所以要用Integer而不是int。HashMap的value一定要是Object类型。 二、HashMap同一元素添加二次覆盖 HashMap test = new HashMap(); ... 阅读全文

摘要： python的排序参见文章http://blog.csdn.net/longshenlmj/article/details/12747195 这里介绍 import operator模块 operator的itemgetter函数用于获取传入参数中某个域的值，如 a = [1,2,3]... 阅读全文

摘要： 先简单介绍 wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出 格式：wc file 命令参数： -c 统计Bytes数(字节数)，并显示文件名 -l 统计行数：使用换行符‘\n’作为行结束标志，实际是统计换行符个数 -m 统计字符数。这个标志不能与... 阅读全文

摘要： cdh3上，pig支持int到chararray的隐式转化，但到cdh5不行。 pig code is as follows： %default Cleaned_Log /user/usergroup_mdmp/test/cleaned/2015-01-05/5/part-r-00000 %d... 阅读全文

摘要： 今天，咱也来任性地扒一扒贝叶斯分类器的那些事儿 朴素贝叶斯由于其简单易用、易于理解的特点，已经广泛应用于文本分类、医疗诊断的应用场景。下面就简单总结一下朴素贝叶斯分类器中的相关知识点： 一、贝叶斯定理： 朴素贝叶斯分类器是一种统计学的分类方法，其基于朴素贝叶斯定理，给定一个样... 阅读全文

摘要： http://dirlt.com/computational-advertising.html#sec-1-9-2-2 阅读全文

摘要： 由于需要在半结构化的文本数据中提取一些特定格式的字段、数据辅助挖掘分析工作，以往都是使用Matlab工具进行结构化数据处理的建模，matlab擅长矩阵处理、结构化数据的计算，Python具有与matlab共同的特点：语法简洁、库丰富，对算法仿真来说都是一门简洁易用的语言。 Pytho... 阅读全文

摘要： awk 用法：awk ' pattern {action} ' 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 ... 阅读全文

摘要： 一、聚类：聚类也称之为自动分类，是一种无监督的学习方法。算法的原则是基于度量数据对象之间的相似性或相异性，将数据对象集划分为多个簇；相比较于分类技术，聚类只需要较少的专家知识(领域知识)，就可以自动发掘数据集中的群组。 二、基本的聚类方法包括： 1、划分方法：该方法通常基于距离使用迭代重定位技术... 阅读全文