会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
不疯魔不成魔
博客园
首页
新随笔
联系
订阅
管理
1
2
下一页
2019年6月11日
《Hadoop综合大作业》
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 我主要的爬取内容是关于热门微博文章“996”与日剧《我要准时下班》的联系,其中包括两个csv文件— —996与《我要准时下班》.csv与996与《我要准时下班》u
阅读全文
posted @ 2019-06-11 21:34 不疯魔不成魔
阅读(241)
评论(0)
推荐(0)
2019年6月3日
分布式并行计算MapReduce
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1. 用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 (1)HDFS的功能:元数据、检查点、DataNode功能 HDF
阅读全文
posted @ 2019-06-03 16:05 不疯魔不成魔
阅读(448)
评论(0)
推荐(0)
2019年5月27日
分布式文件系统HDFS 练习
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 (1)在HDFS中为hadoop用户创建一个用户目录
阅读全文
posted @ 2019-05-27 21:07 不疯魔不成魔
阅读(211)
评论(0)
推荐(0)
2019年5月6日
安装关系型数据库MySQL 安装大数据处理框架Hadoop
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 一、简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商; 1.重要的事件: HADOOP最早起源于Nutch。Nutc
阅读全文
posted @ 2019-05-06 10:56 不疯魔不成魔
阅读(180)
评论(0)
推荐(0)
2019年4月23日
爬虫综合大作业
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 热门微博— —996与日剧《我要准时下班》 至此,“996话题”在微博上被传得沸沸扬扬。微博上关于“996”的话题已超过千个,甚至更多。其中 “#如何鉴别996公
阅读全文
posted @ 2019-04-23 10:28 不疯魔不成魔
阅读(749)
评论(0)
推荐(0)
2019年4月9日
爬取全部的校园新闻
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 1.从新闻url获取新闻详情: 字典,anews 2.从列表页的url获取新闻url:列表append(字典) alist 3.生成所页列表页的url并获取全部新
阅读全文
posted @ 2019-04-09 01:41 不疯魔不成魔
阅读(153)
评论(0)
推荐(0)
2019年4月1日
获取一篇新闻的全部信息
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsI
阅读全文
posted @ 2019-04-01 21:49 不疯魔不成魔
阅读(189)
评论(0)
推荐(0)
2019年3月25日
理解爬虫原理
摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放
阅读全文
posted @ 2019-03-25 17:29 不疯魔不成魔
阅读(207)
评论(0)
推荐(0)
2019年3月18日
中文词频统计
摘要: 该作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impor
阅读全文
posted @ 2019-03-18 20:40 不疯魔不成魔
阅读(238)
评论(0)
推荐(0)
2019年3月12日
复合数据类型,英文词频统计
摘要: 该作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表,元组,字典,集合分别如何增删改查及遍历。 ①列表的增删改查及遍历: ②元组的增删改查及遍历: ③字典的增删改查及遍历: ④集合的增删改查及遍历: 2.
阅读全文
posted @ 2019-03-12 01:21 不疯魔不成魔
阅读(218)
评论(0)
推荐(0)
1
2
下一页
公告