FF冯静妃

2020年8月23日

2020暑假第8周

摘要:这周学的是Hadoop的Mapreduce部分。 MapReduce思想在生活中处处可见,或多或少都曾经接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的、大规模的任务处理场景。把复杂的任务分解成若干个“简单的任务”来并行处理,可以进行拆分的前提是这些小任务可以并行计算,彼 阅读全文

posted @ 2020-08-23 05:38 FF冯静妃 阅读(21) 评论(0) 推荐(0) 编辑

2020年8月16日

2020暑假第7周

摘要:这周学习了HDFS的API系列操作。 首先,在Windows系统需要配置hadoop运行环境。 然后 然后,导入maven依赖。 然后,使用url方式访问数据。 然后,使用文件系统方式访问数据。 在Java中操作HDFS,主要涉及Configuration类和FileSystem类。 用方法:Fil 阅读全文

posted @ 2020-08-16 01:07 FF冯静妃 阅读(11) 评论(0) 推荐(0) 编辑

2020年8月9日

2020暑假第6周

摘要:这周学习了hadoop的核心HDFS。 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统成为分布式文件系统。HDFS是Apache Hadoop项目的一个子项目。Hadoop非常适合于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统。HD 阅读全文

posted @ 2020-08-09 02:57 FF冯静妃 阅读(12) 评论(0) 推荐(0) 编辑

2020年8月2日

2020暑假第5周

摘要:这周学习了Hadoop的相关知识。 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。可行的解决方案有分布式文件系统和分布式计算框架,Nutch 阅读全文

posted @ 2020-08-02 03:46 FF冯静妃 阅读(9) 评论(0) 推荐(0) 编辑

2020年7月26日

2020暑假第4周

摘要:这周开始学习Zookeeper。 一个开源的分布式协调服务框架,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题。 Zookeeper本质上是一个分布式文件系统,适合存放小文件,也可以理解为一个数据库。Znode是有路径的,也可以携带数据,所以Zookeeper可以对外提供出一个类似于文件 阅读全文

posted @ 2020-07-26 07:05 FF冯静妃 阅读(15) 评论(0) 推荐(0) 编辑

2020年7月18日

2020暑假第3周

摘要:这周主要学的是shell脚本,大致内容有: 创建脚本:#mkdir shells 基本语法:#!/bin/bash echo"Hello World!" 运行方式:#sh hello.sh 或:#chmod +x hello.sh ./hello.sh或/绝对位置 局部变量:# vim demo1. 阅读全文

posted @ 2020-07-18 18:25 FF冯静妃 阅读(10) 评论(0) 推荐(0) 编辑

2020年7月12日

2020暑假第2周

摘要:这周主要是对集群Linux环境搭建进行了学习。 注意事项:Windows系统确认所有的关于VmWare的服务都已经启动—>确认好VmWare生成的网关地址—>确认VmNet8网卡已经配置好了IP地址和DNS。 复制虚拟机:将虚拟机文件夹复制三份,并分别重命名,并用VM打开重命名—>分别设置三台虚拟机 阅读全文

posted @ 2020-07-12 00:22 FF冯静妃 阅读(15) 评论(0) 推荐(0) 编辑

2020年7月5日

2020暑假第1周

摘要:因为之前数据库小学期的时候,了解过oracle,所以我打算从大数据开始学习。 大数据是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点:大量、高速、多样、低价值密度。 用途:O2 阅读全文

posted @ 2020-07-05 06:23 FF冯静妃 阅读(15) 评论(0) 推荐(0) 编辑

2020年6月7日

本周学习进度条15

摘要:学习时长:62小时。代码量:800行。博客篇:12篇。 学到的知识:Android界面切换。 总结:这周已经开始进入复习阶段了,把这学期做的项目整理了一下,发现这学期也不是一片空白,总的来说还是很丰富的。这周我们小组也进行了阶段总结会议,合作的很愉快,没有翻船。 阅读全文

posted @ 2020-06-07 03:30 FF冯静妃 阅读(39) 评论(0) 推荐(0) 编辑

2020年6月6日

第二阶段冲刺第五天

摘要:今天在完善自己的界面之后,跟队友协商合并了一下各自的功能,整合的过程中,互相解决问题。 其实接下来直到验收的哪一天,一直都是在整合三部分的代码,使程序更健壮,功能更完善、更实用,应用也更精简。 然后就是一起完成了选择星期的这个小功能。 阅读全文

posted @ 2020-06-06 20:45 FF冯静妃 阅读(37) 评论(0) 推荐(0) 编辑

导航

统计