祈欢

摘要： 这学期选择阅读的第一本书是《软件需求工程》，和这学期的必修课程《软件需求与分析》息息相关，当作课外知识的扩展。 这本书全面、系统地介绍了软件需求工程的基本概念和原理，以及开发和管理软件需求的方法与技术，按照需求工程中开发和管理过程的顺序，结合许多经典实例，较详尽地介绍了需求开发各个阶段的任务、步骤。 阅读全文

摘要： 报错如下: 但是经过排查发现报错文件中存在错误中指明的参数,多次尝试依旧报相同的错误,最终将这些配置在代码中进行配置,成功运行 package cn.edu360.mr.wc; import java.net.URI; import org.apache.hadoop.conf.Configurat 阅读全文

摘要： 需求1：求出每一个url被访问的总次数，并将结果输出到一个结果文件中 思路：就是一个wordcount map阶段： 解析数据，将url作为key，1作为value发出 reduce阶段：将一组数据的value累加 需求2：求出每个网站被访问次数最多的top3个url《分组TOPN》 思路： map 阅读全文

摘要： yarn集群配置启动 1.yarn-site.xml <property><name>yarn.resourcemanager.hostname</name><value>hdp-01</value></property> <property><name>yarn.nodemanager.aux-s 阅读全文

摘要： marpreduce运行平台YARN marpreduce程序应该是在很多机器上并行启动,并且先执行map task,当众多的map task都处理完自己的数据后,还需要启动众多的reduce task,需要一个自动化的调度平台,hadoop中就为运行mapreduce之类的分布式运算程序开发了一个 阅读全文

摘要： hdfs的核心工作原理--namenode元数据管理要点 1.什么是元数据? hdfs的目录结构及每一个文件块的信息(块的id,块的副本数量,块的存放位置datanode) 2.元数据由namenode负责管理 3.namenode把元数据记录在哪里? namenode的实时的完整的元数据存储在内存 阅读全文

摘要： 1.Hadoop常用命令 单进程启动 start-dfs.sh 查看指定目录下内容 hdfs dfs -ls [目录] 创建目录 hdfs dfs -mkdir [新目录] 打开文件 hdfs dfs -cat [文件路径] 重命名文件 hdfs dfs -mv [原文件名] [新文件名] 上传文件 阅读全文

摘要： 开始学习Hadoop 1、什么是hadoop hadoop中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序 阅读全文

摘要： 元组 # 不能被修改 tuple1 = (1, 2, 3, 4) tuple1[1] tuple1[:5] a = (1) # int b = (1,) # tuple # 更新和删除 temp = ('a', 'b', 'c') temp = temp[:2] + ('d',) + temp[2: 阅读全文

摘要： 学习了python的基础知识： 分支和循环 # 同一级别的缩进是一个代码块 if 3 < 5: print("里") print("里") else: print("else里") print("外") # if elif else score = input("分数") score = int(s 阅读全文