会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
何铠江
博客园
首页
新随笔
联系
订阅
管理
2019年6月20日
大数据应用期末作业
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 此次作业是把本学期的两个重要的作业联合起来——用HDFS去处理爬虫大作业爬下来的数据。 作业要求: 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行
阅读全文
posted @ 2019-06-20 20:04 何铠江
阅读(607)
评论(0)
推荐(0)
2019年6月4日
分布式文件系统HDFS 练习
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 1.目录操作在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录
阅读全文
posted @ 2019-06-04 13:03 何铠江
阅读(132)
评论(0)
推荐(0)
2019年5月15日
安装Hadoop
摘要: 本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/32231. 1.安装Vbox 2.安装Linux系统,sql库 3.本地与虚拟机连接 4.安装Hadoop
阅读全文
posted @ 2019-05-15 23:50 何铠江
阅读(96)
评论(0)
推荐(0)
2019年5月8日
爬虫大作业
摘要: 本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sq
阅读全文
posted @ 2019-05-08 22:14 何铠江
阅读(270)
评论(0)
推荐(0)
2019年4月15日
爬取全部的校园新闻
摘要: 本次作业的来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests
阅读全文
posted @ 2019-04-15 16:23 何铠江
阅读(102)
评论(0)
推荐(0)
2019年4月1日
理解爬虫原理
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 向网站发出请求,采取遍历把公开信息都得到,然后筛选有用的信息返回自己的服务器。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 1.首先
阅读全文
posted @ 2019-04-01 13:38 何铠江
阅读(225)
评论(0)
推荐(0)
2019年3月25日
中文词频统计与词云生成
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 下载了斗破苍穹。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba
阅读全文
posted @ 2019-03-25 21:49 何铠江
阅读(267)
评论(0)
推荐(0)
2019年3月22日
复合数据类型,英文词频统计
摘要: 本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表: 元组: 字典: 集合: 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序
阅读全文
posted @ 2019-03-22 14:52 何铠江
阅读(131)
评论(0)
推荐(0)
2019年3月10日
字符串操作、文件操作,英文词频统计预处理
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 代码实现 ①解析身份证号 def main(id): province
阅读全文
posted @ 2019-03-10 20:31 何铠江
阅读(177)
评论(0)
推荐(0)
2019年3月3日
了解大数据的特点、来源与数据呈现方式
摘要: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万
阅读全文
posted @ 2019-03-03 22:29 何铠江
阅读(214)
评论(0)
推荐(0)
下一页
公告