摘要： 传送门https://blog.csdn.net/liufeifeinanfeng/article/details/78615567 阅读全文

摘要： 传送门https://www.cnblogs.com/ones/p/4362531.html 阅读全文

摘要： 一：先将服务都启动 二：将爬虫大作业获取的数据上传到HDFS中 三.把hdfs中的文本文件最终导入到数据仓库Hive中 启动hive 创建数据仓库maoyan 查看是否建立成功 用上传到HDFS中的数据，在数据库中建表，并且查看时否建立成功 四：在Hive中查看并分析数据 统计出观众所在城市数量最多 阅读全文

摘要： 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文

摘要： 一.分析 首先简单介绍一下Scrapy的基本流程： 在网上找到了接口:http://m.maoyan.com/mmdb/comments/movie/248172.json?_v_=yes&offset=0&startTime=2019-02-05%2020:28:22，可以把offset的值设定为 阅读全文

摘要： 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文

摘要： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

摘要： 1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 2).使用 requests 库抓取网站数据； requests.get(url) 获取校园新闻首页html代码 3).了解网页 写一个简单的html文件，包含多个标签，类，id 4).使用 Beautiful Soup 阅读全文

摘要： 中文词频统计 1. 下载一长篇中文小说。 三体 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 4. 更新词库，加入所分析对象的专业词汇。 5. 生成词频统计 6. 排序 7. 排除语法型词汇，代词、冠词、连词等停用词。 8. 输出词频最大TOP20，把结果存放到文件里 9. 阅读全文

摘要： 老师：MissDu 提交作业 老师：MissDu 提交作业 1.列表，元组，字典，集合分别如何增删改查及遍历。 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 列表 元祖 字典 集合 括号 [] () {} {} 有序无序 阅读全文