大笤帚

摘要： 在CentOS环境下，安装完Mysql后，root的密码为空，需要去设置密码才能使用，设置密码的方法如下：/usr/bin/mysqladmin -u root password yourpasswd注意把上述命令的yourpasswd替换为自己的密码，这个时候如果使用以下命令成功登陆Mysql终端... 阅读全文

摘要： 昨晚上不想做其他的事，突然想起来好久都没更新博客了，shell也差不多学完了，只不过学习的时候都是只带着书出去了，改天总结总结。Hadoop么，黄宜华老师讲完了，自己也马马虎虎快学完了，也是没总结，那今天就写下前段时间写的一个关于英文Wiki的PageRank代码吧。PageRank的ABC什么是PageRankPageRank是一种在搜索引擎中根据网页之间相互的链接关系计算网页排名的技术。PageRank是Google用来标识网页的等级或重要性的一种方法。其级别从1到10级，PR值越高说明该网页越受欢迎（越重要）。PageRank的基本设计思想和原则被许多优质网页所链接的网页，多半也是优质网 阅读全文

摘要： 2012st26倒排索引概念 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。是文档检索中常用的数据结构。和索引的目的是一样的，倒排索引是为了提高检索效率而设计的。 需要做倒排索引的文档通常都是数量巨大的，但是对不同的文档做索引可以并行，这事mapreduce最擅长做了，这就是我们今天所做的事。设计说明： 实验的输入是一组文档，输出的每行是：term 5@doc1 6@doc2 …即每行输出一个单词，后面接着是该单词在某文档中的出现次数，每行中文档的是按序存放的，整个结果中 阅读全文

摘要： 今天下午去参加了大众点评网的笔试，先是各种类似于公务员考试的语言推理、数字推理、图形推理的题，我发现我在这方面真是弱爆了，到后面都没时间做了，图形推理题各种诡异。。。最后给了半个小时做两道算法题，题目如下： 题目一：一个单入口单出口的有向无环图中，要求在某些地方插入一些节点使得任何一条由起点到终点所经历的节点数相同，类似于下面的图，要求给出算法描述并分析时间复杂度。如上图所示，节点A到C有两条路径，ABC这条路径经过了一个节点，而AC路径经过了0个节点，我们的算法所要做的事就是要在AC路径中间加入一个节点，然后ABC路径和ADC路径都经过了一个节点。 我在试卷上给出的解决方案：（1）、... 阅读全文

摘要： 今天上曹老师的软件体系结构，课程上讨论了有关hadoop的文件系统HDFS，虽然之前对HDFS已经略有了解，但是以讨论和思考不断展开的教学方式还是让听课的我收获颇多,所以先谢曹春老师。本文将不会进行章节上的划分，但是在过程中提到一些问题（加粗文字），问题之后是解决方案或者是HDFS里面关于此问题的设计方案，如果你跟我一样是HDFS菜鸟的话，请看到问题的时候先进行一些自己的思考，然后再接着往下看。当然笔记中肯定有不少错误的地方，欢迎指正。 BigData成为一个热门词语已有很长时间，大数据首先需要解决的问题就是存储的问题，这如何存储就成为一个问题，当然我们可以Scale up，比如说原来你... 阅读全文

摘要： 这是shell学习系列的第一期，将会不断更新。。。具体的学习书籍：Unix shell 编程（第三版） 下载地址本节介绍在shell编程中经常用到的一些工具1、Shell工具----正则表达式关于正则表达式，前面已经有一篇学习笔记描述了大部分常用的应用，文章在这儿2、Shell工具----cutcut命令一般用于从数据文件或者命令的输出中析取出各种各样的数据域，一般格式为：cut –cchars filechars指定想从文件的每一行析取那些文字，可以是一个数字，代表每一行的第几个字符：cut –c5 data取第五个字符cut –c5,13,51 data取第五、第13和第51个字符cut. 阅读全文

摘要： 前两天做搜狗的笔试题，有一道是关于正则表达式的题目：提取出一个HTML文件里的所有超链，顿时束手无策了关于正则表达式只知道一些ABC，对于较高级的应用还不是很清楚，于是去借阅了《正则表达式必知必会》，很不错的快速上手书籍。这里记录的只是一些自己的ABC之外的东西，最基础的一些是木有地^_^1、字符集的取非匹配[^1-9]，即采用元字符^2、匹配空白字符[\b] 回退并删除一个字符 \f 换页符\n 换行符 \r 回车符\t 制表符 \v 垂直制表符\r\n是Windows系统所使用的文本行结束标签，在Unix系统下采用\n3、匹配特定的元字符\d 等价于[0-9] \D 等价于[^0-9]\w 阅读全文