大笤帚

摘要： 今天上曹老师的软件体系结构，课程上讨论了有关hadoop的文件系统HDFS，虽然之前对HDFS已经略有了解，但是以讨论和思考不断展开的教学方式还是让听课的我收获颇多,所以先谢曹春老师。本文将不会进行章节上的划分，但是在过程中提到一些问题（加粗文字），问题之后是解决方案或者是HDFS里面关于此问题的设计方案，如果你跟我一样是HDFS菜鸟的话，请看到问题的时候先进行一些自己的思考，然后再接着往下看。当然笔记中肯定有不少错误的地方，欢迎指正。 BigData成为一个热门词语已有很长时间，大数据首先需要解决的问题就是存储的问题，这如何存储就成为一个问题，当然我们可以Scale up，比如说原来你... 阅读全文

摘要： 这是shell学习系列的第一期，将会不断更新。。。具体的学习书籍：Unix shell 编程（第三版） 下载地址本节介绍在shell编程中经常用到的一些工具1、Shell工具----正则表达式关于正则表达式，前面已经有一篇学习笔记描述了大部分常用的应用，文章在这儿2、Shell工具----cutcut命令一般用于从数据文件或者命令的输出中析取出各种各样的数据域，一般格式为：cut –cchars filechars指定想从文件的每一行析取那些文字，可以是一个数字，代表每一行的第几个字符：cut –c5 data取第五个字符cut –c5,13,51 data取第五、第13和第51个字符cut. 阅读全文