随笔分类 -  大数据

用mapreduce 处理气象数据集
摘要：用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况 阅读全文
posted @ 2018-05-09 20:51 Lger 阅读(1976) 评论(0) 推荐(2)
熟悉常用的HBase操作，编写MapReduce作业
摘要：1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student） | 学号（S_No） | 姓名（S_Name） | 性别（S_Sex） | 年龄（S_Age） | | | | | | | 2015001 | Zhangsan | male | 23 阅读全文
posted @ 2018-05-08 21:40 Lger 阅读(266) 评论(0) 推荐(0)
熟悉常用的HDFS操作
摘要：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件( ls) 显示hdfs中该的文件 阅读全文
posted @ 2018-04-24 21:59 Lger 阅读(566) 评论(0) 推荐(1)
课程作业——数据结构化与保存
摘要：1.将新闻的正文内容保存到文本文件 2.将新闻数据结构化为字典的列表: 单条新闻的详情 字典news 一个列表页所有单条新闻汇总 列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3.安装pandas，用pandas.DataF 阅读全文
posted @ 2018-04-12 18:20 Lger 阅读(177) 评论(0) 推荐(0)
课程作业——获取全部校园新闻
摘要：作业要求： 1. 取出一个新闻列表页的全部新闻 包装成函数。 2. 获取总的新闻篇数，算出新闻总页数。 3. 获取全部新闻列表页的全部新闻详情。 4. 找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 前三个要求代码如下： 结果截图： 第四个要求中，我爬取了校园所有的新闻描 阅读全文
posted @ 2018-04-11 14:00 Lger 阅读(292) 评论(0) 推荐(0)
课程作业——大数据概述
摘要：1.大数据概述 大数据按照个人理解就是一个'大'字为主，以大量的数据来提供有用的数据资源。通过各种方式或者方法分析、统计数据得到有价值的信息。比较官方的说法可以查看 "百度百科" 2.大数据对思维方式的重要影响 对于我们人类而言，我们个人产生的数据集可供大数据平台分析出一些发展的趋势。于是乎，就有了 阅读全文
posted @ 2018-03-07 16:15 Lger 阅读(548) 评论(0) 推荐(0)