会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
成鸣豪
博客园
首页
新随笔
联系
管理
订阅
2019年6月16日
大数据应用期末总评
摘要: 该作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 我爬虫作业爬取的是招聘网站对于JAVA的岗位信息:共计15129条 创建文件夹并且把文件复制进去,并且尝试打开文
阅读全文
posted @ 2019-06-16 23:43 cmhbaba
阅读(227)
评论(0)
推荐(0)
2019年6月3日
分布式并行计算MapReduce
摘要: 该作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 一、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 Hdfs的功能:高度容错性、支持大规模数据集、支持流式读取数据、简
阅读全文
posted @ 2019-06-03 17:28 cmhbaba
阅读(253)
评论(0)
推荐(0)
2019年5月6日
安装关系型数据库MySQL 安装大数据处理框架Hadoop
摘要: 该作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 一、要求 4. 简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商; 国内外Hadoop应用的典型案例。 5. 下次
阅读全文
posted @ 2019-05-06 11:11 cmhbaba
阅读(112)
评论(0)
推荐(0)
2019年4月27日
爬虫综合大作业
摘要: 该作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一、作业要求 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy im
阅读全文
posted @ 2019-04-27 21:21 cmhbaba
阅读(334)
评论(0)
推荐(0)
2019年4月10日
爬取全部的校园新闻
摘要: 改作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 一、要求: 1.从新闻url获取新闻详情: 字典,anews 2.从列表页的url获取新闻url:列表append(字典) alist 3.生成所页列表页的ur
阅读全文
posted @ 2019-04-10 23:37 cmhbaba
阅读(153)
评论(0)
推荐(0)
2019年4月1日
获取一篇新闻的全部信息
摘要: 改作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl news
阅读全文
posted @ 2019-04-01 21:44 cmhbaba
阅读(111)
评论(0)
推荐(0)
2019年3月25日
理解爬虫原理
摘要: 改作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 一、简单说明爬虫原理 如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据)爬虫指的是:向网站
阅读全文
posted @ 2019-03-25 22:48 cmhbaba
阅读(131)
评论(0)
推荐(0)
2019年3月18日
中文词频统计
摘要: 改作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 一、要求 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba
阅读全文
posted @ 2019-03-18 20:14 cmhbaba
阅读(205)
评论(0)
推荐(0)
2019年3月11日
复合数据类型,英文词频统计
摘要: 改作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 一.列表,元组,字典,集合分别如何增删改查及遍历 1、列表 结果如下: 2、元组 结果图: 3、字典 效果图: 4、集合 二、总结列表,元组,字典,集合的联系与
阅读全文
posted @ 2019-03-11 22:30 cmhbaba
阅读(190)
评论(0)
推荐(0)
2019年3月4日
字符串、文件操作,英文词率统计预处理
摘要: 该作业要求来于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 一、作业要求 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小
阅读全文
posted @ 2019-03-04 21:41 cmhbaba
阅读(268)
评论(0)
推荐(0)
下一页
公告