摘要：
1、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduc 阅读全文
2019年6月21日
摘要：
1.目录操作： （1）、在HDFS中为hadoop用户创建一个用户目录（hadoop用户）： （2）、在用户目录下创建一个input目录： （3）、在HDFS的根目录下创建一个名称为input的目录 （4）、删除HDFS根目录中的“input”目录： 2.文件操作： （1）、在本地Linux文件系统 阅读全文
摘要：
1.将爬虫大作业产生的csv文件上传到HDFS 一、建立一个运行本案例的目录database，data并查看是否创建成功 二、将本地文件csv上传到HDFS并查看是否上传成功 三、查看文件： 2.对CSV文件进行预处理生成无标题文本文件二、预处理文件，将csv生成txt文件： 一、预处理文件，将cs 阅读全文
2019年5月12日
摘要：
4. 简述Hadoop平台的起源、发展历史与应用现状。 起源：Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File 阅读全文
2019年4月28日
摘要：
1.主题： 1.主题： 1.主题： 简单爬取简书中的专题‘’@IT·互联网“中的文章，爬取信息之后通过jieba分词生成词云并且进行分析； 2.实现过程： 第一步：打开简书并进入到@IT-互联网专题 网页链接：https://www.jianshu.com/c/V2CqjW?utm_medium=i 阅读全文
2019年4月3日
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文
2019年3月18日
摘要：
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文
2019年3月14日
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 (列表)# # -*- coding: utf-8 -*- list = ['a', 'b', 2019, 'c'] print("list的类型：", type(list)) print("list[2]:", list[2]) print("l 阅读全文
2019年2月26日
摘要：
提交作业 1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156 春节大数 阅读全文
2018年10月29日
