NANhuang

分布式并行计算MapReduce

摘要： 1、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduc 阅读全文

posted @ 2019-06-21 09:32 NANhuang 阅读(133) 评论(0) 推荐(0)

分布式文件系统HDFS 练习

摘要： 1.目录操作：（1）、在HDFS中为hadoop用户创建一个用户目录（hadoop用户）：（2）、在用户目录下创建一个input目录：（3）、在HDFS的根目录下创建一个名称为input的目录（4）、删除HDFS根目录中的“input”目录： 2.文件操作：（1）、在本地Linux文件系统阅读全文

posted @ 2019-06-21 00:54 NANhuang 阅读(114) 评论(0) 推荐(0)

大数据应用期末总评

摘要： 1.将爬虫大作业产生的csv文件上传到HDFS 一、建立一个运行本案例的目录database，data并查看是否创建成功二、将本地文件csv上传到HDFS并查看是否上传成功三、查看文件： 2.对CSV文件进行预处理生成无标题文本文件二、预处理文件，将csv生成txt文件：一、预处理文件，将cs 阅读全文

posted @ 2019-06-21 00:17 NANhuang 阅读(424) 评论(0) 推荐(0)

安装关系型数据库MySQL 安装大数据处理框架Hadoop

摘要： 4. 简述Hadoop平台的起源、发展历史与应用现状。起源：Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File 阅读全文

posted @ 2019-05-12 22:01 NANhuang 阅读(191) 评论(0) 推荐(0)

爬虫项目

摘要： 1.主题： 1.主题： 1.主题：简单爬取简书中的专题‘’@IT·互联网“中的文章，爬取信息之后通过jieba分词生成词云并且进行分析； 2.实现过程：第一步：打开简书并进入到@IT-互联网专题网页链接：https://www.jianshu.com/c/V2CqjW?utm_medium=i 阅读全文

posted @ 2019-04-28 21:16 NANhuang 阅读(281) 评论(0) 推荐(0)

获取一篇新闻的全部信息

摘要：给定一篇新闻的链接newsUrl，获取该新闻的全部信息标题、作者、发布单位、审核、来源发布时间:转换成datetime类型点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

posted @ 2019-04-03 21:16 NANhuang 阅读(220) 评论(0) 推荐(0)

中文词频统计

摘要：中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文

posted @ 2019-03-18 17:47 NANhuang 阅读(195) 评论(0) 推荐(0)

复合数据类型，英文词频统计

摘要： 1.列表，元组，字典，集合分别如何增删改查及遍历。 (列表)# # -*- coding: utf-8 -*- list = ['a', 'b', 2019, 'c'] print("list的类型：", type(list)) print("list[2]:", list[2]) print("l 阅读全文

posted @ 2019-03-14 21:18 NANhuang 阅读(172) 评论(0) 推荐(0)

了解大数据的特点、来源与数据呈现方式

摘要：  提交作业 1.浏览2019春节各种大数据分析报告，例如：这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156 春节大数阅读全文

posted @ 2019-02-26 21:56 NANhuang 阅读(207) 评论(0) 推荐(0)

结对项目

摘要：作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2232一、需求分析基本要求：生成题目，单个题目最多不能超过4个运算符，操作数小于100。用户可以输入答案若用户输入答案正确，则提示正确；若答案错误，则提示错误，并要提示正阅读全文

posted @ 2018-10-29 12:38 NANhuang 阅读(124) 评论(1) 推荐(0)

导航

公告