喜欢沧月的二福君

2018年11月23日

摘要：前提准备条件:安装gcc环境，可以百度也可以安装这个链接：https://pan.baidu.com/s/1BbXFcBZywK-k-eIkWqY3Ug 提取码：04wp 复制这段内容后打开百度网盘手机App，操作更方便哦，直接解压，然后放到环境变量中。代码：主文件：引入的c语言代码和包：阅读全文

posted @ 2018-11-23 21:44 喜欢沧月的二福君阅读(2444) 评论(0) 推荐(0) 编辑

go语言学习笔记三

摘要： 1.通过函数修改切片的结构体，传递不能直接用传递的标号来修改值。2.cheat engine3.nil值得空=null4.定义指针不能指向也指针5.指正可以直接操作结构体和数组，不可以直接操作切片6.go语言没有继承，通过匿名组合来实现继承7.可以为对象创建方法7.可以直接传递地址创建方法8.结构体阅读全文

posted @ 2018-11-23 21:35 喜欢沧月的二福君阅读(128) 评论(0) 推荐(0) 编辑

2018年11月20日

go语言学习笔记二

摘要： 1. printf为格式化输出，可以用占位符，如%d,%Tprintln和print不可以用占位符2.go语言中没有while和dowhile循环，只有for循环for循环有三种使用形式(1）for表达式1；表达式2；表达式3（2）for 返回值：=range集合{}(3)for条件{}(相当于wh 阅读全文

posted @ 2018-11-20 15:52 喜欢沧月的二福君阅读(120) 评论(0) 推荐(0) 编辑

2018年11月19日

mapreduce学习笔记四：排序

摘要： 1.Map端：（1）每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大阅读全文

posted @ 2018-11-19 12:48 喜欢沧月的二福君阅读(192) 评论(0) 推荐(0) 编辑

mapreduce学习笔记三：平均值

摘要：求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce端汇总并且统计记录数，然后作阅读全文

posted @ 2018-11-19 12:46 喜欢沧月的二福君阅读(371) 评论(0) 推荐(0) 编辑

go语言学习笔记一

摘要： 1.定义格式：可一个是:=定义2.数据类型3.中文汉字占3个字节，和linux相同4.switch循环里面可以有fallthrough(直接略过这case，向下执行)5.程序中可以有goto6.使用goland编写go程序时候，可以自动对齐，在设置里面加上一个fmt既可以了7.len函数返回长度8. 阅读全文

posted @ 2018-11-19 12:41 喜欢沧月的二福君阅读(171) 评论(0) 推荐(0) 编辑

2018年11月15日

hdfs读取某一文件具体内容的java代码

摘要：由于mapreduce实验总要查看output/part-r-00000 所以写个程序阅读全文

posted @ 2018-11-15 10:38 喜欢沧月的二福君阅读(1948) 评论(0) 推荐(0) 编辑

mapreduce学习笔记二：去重实验

摘要：实验原理 “数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。在MapReduce流程中，map的输出<key,v 阅读全文

posted @ 2018-11-15 10:35 喜欢沧月的二福君阅读(750) 评论(0) 推荐(0) 编辑

hdfs文件操作的api

摘要： package Utils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apache.hadoop.fs.Path; import org.apach... 阅读全文

posted @ 2018-11-15 10:24 喜欢沧月的二福君阅读(293) 评论(0) 推荐(0) 编辑

mapreduce学习笔记一：WordCound

摘要： MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 1.MapReduce的工作原理在分布式计算中，MapReduce框架负责处阅读全文

posted @ 2018-11-15 10:15 喜欢沧月的二福君阅读(377) 评论(0) 推荐(0) 编辑

喜欢二福的沧月君

沧海月明珠有泪，蓝田日暖玉生烟。

公告