2022年6月8日
摘要:
MapReduce - 读取数据# 通过InputFormat决定读取的数据的类型,然后拆分成一个个InputSplit,每个InputSplit对应一个Map处理,RecordReader读取InputSplit的内容给Map InputFormat# 决定读取数据的格式,可以是文件或数据库等 功
阅读全文
posted @ 2022-06-08 16:29
GHOST-CR
阅读(28)
推荐(0)
2022年6月6日
摘要:
Hadoop - HDFS# 简介# Hadoop Distributed File System,分布式文件系统 架构# Block数据块; 基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;2)减少管理块的数据开销,每
阅读全文
posted @ 2022-06-06 21:34
GHOST-CR
阅读(35)
推荐(0)
2022年6月5日
摘要:
一、今日内容:# 今日学习了大数据导论,分别包括以下内容: 1、大数据概念:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯 2、大数据特点: 大量 高速 多样性 低价值密度
阅读全文
posted @ 2022-06-05 21:34
GHOST-CR
阅读(34)
推荐(0)
2022年6月4日
摘要:
一、今日学习 今天学习关于Hadoop的介绍,了解到的Hadoop是由Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集,并且还了解到了Hadoop的相关架构以及是如何工作的。 (1)Hadoop框架包括以下四个模块: Hadoop Common 这些是其他H
阅读全文
posted @ 2022-06-04 21:09
GHOST-CR
阅读(26)
推荐(0)
2022年6月3日
摘要:
面临繁重的考试周,面对每一门我不怎么会的科目 我不禁在反思,为什么这学期什么都没做好呢 书本上的知识也没有学好,编程能力也没有显著的提高 也没什么时间玩耍,也没有时间睡觉 反思下来可能主要原因就是我的效率太低了 别人能做两件事的时间,我可能只能做一件 加之拖延症的发作,很多事情,我没有在当天即时解决
阅读全文
posted @ 2022-06-03 21:34
GHOST-CR
阅读(21)
推荐(0)
摘要:
一、今日完成:# 对于Hadoop大数据概述和Hadoop大数据解决方案进行了初步学习了解: (1)什么是大数据: 大数据意味着真正的大数据,它是大数据集的集合,不能使用传统的计算技术来处理。大数据不仅仅是一个数据,它已经成为一个完整的主题,涉及各种工具,技术和框架。 (2)大数据包括大量,高速度和
阅读全文
posted @ 2022-06-03 21:09
GHOST-CR
阅读(22)
推荐(0)
摘要:
这个星期没有怎么进行android 的相关学习 由于web设计与开发课程的缘故,时隔一年回顾了一下web的相关知识与设计 完成了web课程要求的相关实验以及idea的相关配置与使用 虽然很不好意思的称呼自己为初学者,但是我在配置和使用Idea的过程中确实遇到了很多问题 不仅是错误没有办法解决的问题,
阅读全文
posted @ 2022-06-03 21:09
GHOST-CR
阅读(33)
推荐(0)
2022年5月28日
摘要:
在这周学习Android相关技术的过程中,涉及到了团队项目中需要的的 拍照上传图片功能 和 从相册中选择上传图片功能 意识到,所谓的技术上的强者,也许就是将每一块每一块小功能牢记于心,在实际开发过程中能够清楚的知道这个功能需要用到哪几个技术 而对于现在的我而言,显然并没有一个清晰的头脑和丰富的知识储
阅读全文
posted @ 2022-05-28 23:17
GHOST-CR
阅读(25)
推荐(0)
摘要:
今天我们通过对比更进一步,对比出用户自拍等照片 这个实现也是出了点问题,还在找毛病 public static String advancedGeneral(String filePath) { // 请求url String url = "https://aip.baidubce.com/rest
阅读全文
posted @ 2022-05-28 09:49
GHOST-CR
阅读(24)
推荐(0)
2022年5月27日
posted @ 2022-05-27 10:14
GHOST-CR
阅读(250)
推荐(0)