• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
岸边露畔
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2019年6月20日

大数据应用期末总评
摘要: 本作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、将爬虫大作业产生的csv文件上传到HDFS 将爬虫大作业中爬取到的数据文件csv导入到/usr/local/bigdatacase/dataset目录下,并且查 阅读全文
posted @ 2019-06-20 20:25 岸边露畔 阅读(221) 评论(0) 推荐(0)
 
 

2019年6月4日

分布式文件系统HDFS 练习
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo 阅读全文
posted @ 2019-06-04 20:33 岸边露畔 阅读(1585) 评论(0) 推荐(0)
 
 

2019年5月16日

安装Hadoop
摘要: 本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件 阅读全文
posted @ 2019-05-16 11:25 岸边露畔 阅读(154) 评论(0) 推荐(0)
 
 

2019年5月9日

《恶魔人crybaby》豆瓣短评爬取
摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 爬虫综合大作业 参考: 32个Python爬虫项目 都是谁在反对996? Python和Java薪资最高,C#最低! 给《流浪地球》评1星的都是什么心态? 《都挺好 阅读全文
posted @ 2019-05-09 12:32 岸边露畔 阅读(1018) 评论(0) 推荐(0)
 
 

2019年4月15日

爬取全部的校园新闻
摘要: 作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.g 阅读全文
posted @ 2019-04-15 10:48 岸边露畔 阅读(258) 评论(0) 推荐(0)
 
 

2019年3月31日

理解爬虫原理
摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 2).使用 requests 库抓取网站数据; requests.get(ur 阅读全文
posted @ 2019-03-31 00:54 岸边露畔 阅读(473) 评论(0) 推荐(0)
 
 

2019年3月24日

中文词频统计与词云生成
摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impo 阅读全文
posted @ 2019-03-24 21:42 岸边露畔 阅读(388) 评论(0) 推荐(0)
 
 

2019年3月23日

复合数据类型与英文词频统计
摘要: 本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与 阅读全文
posted @ 2019-03-23 16:06 岸边露畔 阅读(207) 评论(0) 推荐(0)
 
 

2019年3月10日

字符串操作、文件操作,英文词频统计预处理
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将 阅读全文
posted @ 2019-03-10 20:08 岸边露畔 阅读(170) 评论(0) 推荐(0)
 
 

2019年3月2日

了解大数据的特点、来源与数据呈现方式
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769 阅读全文
posted @ 2019-03-02 19:04 岸边露畔 阅读(408) 评论(0) 推荐(0)
 
 
下一页

公告


博客园  ©  2004-2026
浙公网安备 33010602011771号 浙ICP备2021040463号-3