会员
众包
新闻
博问
闪存
赞助商
Trae
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
sizhanhe
博客园
首页
新随笔
联系
管理
订阅
随笔- 17 文章- 0 评论- 9 阅读-
3528
1
2
下一页
2019年6月16日
Hadoop综合大作业
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到LINUX 首先把收集到的数据所生成的csv文件gzcc.csv上传到装有MySQL、Hive以及Hadooplinux系 2
阅读全文
posted @ 2019-06-16 23:33 sizhanhe
阅读(294)
评论(0)
推荐(1)
2019年6月3日
分布式并行计算MapReduce
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 全称 Hadoop分布式文件系统,其最主要的作用是作为 Hado
阅读全文
posted @ 2019-06-03 10:42 sizhanhe
阅读(257)
评论(0)
推荐(0)
2019年5月27日
分布式文件系统HDFS 练习
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互
阅读全文
posted @ 2019-05-27 17:13 sizhanhe
阅读(123)
评论(0)
推荐(0)
2019年5月6日
Hadoop
摘要: Hadoop的起源 2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年,Hadoop作为L
阅读全文
posted @ 2019-05-06 11:31 sizhanhe
阅读(242)
评论(0)
推荐(0)
2019年4月28日
爬虫综合
摘要: 近年来二手房市场已经成为一个不可忽视的存在。从价格的节节攀升,到交易量的持续增长;从大中介公司的“跑马圈地”,到小中介公司林立,二手房市场已经开始“奔跑着歌 唱”,更重要的是,二手房已经纳入了越来越多老百姓置业的考虑范围。 二手房市场是离普通百姓最近的住房市场,二手房市场的健康发展,对于整个房地产市
阅读全文
posted @ 2019-04-28 19:11 sizhanhe
阅读(270)
评论(0)
推荐(0)
2019年4月11日
爬取全部的校园新闻
摘要: 题目: 1.从新闻url获取新闻详情: 字典,anews 2.从列表页的url获取新闻url:列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 :列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import ti
阅读全文
posted @ 2019-04-11 23:11 sizhanhe
阅读(259)
评论(0)
推荐(0)
2019年4月3日
获取一篇新闻的全部信息
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 题目: 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl news
阅读全文
posted @ 2019-04-03 14:45 sizhanhe
阅读(198)
评论(0)
推荐(0)
2019年3月27日
理解爬虫原理
摘要: 1. 简单说明爬虫原理 通用网络爬虫 从互联网中搜集网页,采集信息,这些网页信息用于为搜索引擎建立索引从而提供支持,也就是模拟浏览器的动作从网站上搜索信息,并获取自己需要的信息。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 1:向服务器发起请求 通过HTTP库向目标站点发起请求,即发送一
阅读全文
posted @ 2019-03-27 17:02 sizhanhe
阅读(133)
评论(0)
推荐(0)
2019年3月18日
中文词频统计
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji
阅读全文
posted @ 2019-03-18 21:35 sizhanhe
阅读(140)
评论(0)
推荐(0)
2019年3月12日
复合数据类型,英文词频统计
摘要: 作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 3.词频统计 1.下载一长篇小说,存成utf-
阅读全文
posted @ 2019-03-12 21:13 sizhanhe
阅读(263)
评论(0)
推荐(0)
1
2
下一页
<
2025年7月
>
日
一
二
三
四
五
六
29
30
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
公告
昵称:
sizhanhe
园龄:
6年10个月
粉丝:
0
关注:
3
+加关注
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
更多链接
随笔档案
2019年6月(2)
2019年5月(2)
2019年4月(3)
2019年3月(4)
2019年2月(1)
2018年10月(3)
2018年9月(2)
阅读排行榜
1. Hadoop综合大作业(294)
2. 爬虫综合(270)
3. 复合数据类型,英文词频统计(263)
4. 爬取全部的校园新闻(259)
5. 分布式并行计算MapReduce(257)
评论排行榜
1. 邂逅软件工程(4)
2. 个人项目-小学四则运算初版(2)
3. 作业三:读《构建之法》1-5章读后感(2)
4. 作业二:Git的安装与使用(1)
推荐排行榜
1. Hadoop综合大作业(1)
最新评论
1. Re:个人项目-小学四则运算初版
@ Grey Zeng尴尬尬,设计的时候有考虑过,但是到了后面忘记了...
--sizhanhe
2. Re:个人项目-小学四则运算初版
除数为0的情况有处理过么?
--Grey Zeng
3. Re:作业三:读《构建之法》1-5章读后感
@ Grey Zeng只是单纯的完成作业(抄作业),并没有去认真的研究怎么做,怎么样才能更好...
--sizhanhe
4. Re:作业三:读《构建之法》1-5章读后感
首先,这样在学习期间并没有学习到很多东西,只是单纯完成作业而已,其次,打代码的习惯并没有很好的得到练习,缺少了设计原则,以后工作会处于一个非常不利的地位。》没有足够的学习可以完成作业么?还是课程本身比...
--Grey Zeng
5. Re:作业二:Git的安装与使用
请注明你远端仓库的地址
--Grey Zeng
点击右上角即可分享