2020年8月13日
爬虫爬取豆瓣影院的相关电影信息
摘要： 主要的是将相关的电影信息爬取到之后存储到excel中： 主要的代码入下： import requests from bs4 import BeautifulSoup import openpyxl headers = {'user-agent': 'Mozilla/5.0 (Windows NT 1 阅读全文
posted @ 2020-08-13 22:48 喜欢爬的孩子 阅读(191) 评论(0) 推荐(0)
yarn伪分布式以及完全分布式
摘要： 这是关闭的操作，在次没有用到 1）首先配置 2）之后配置 3）然后是 4之后是 5）开启50070和8088端口的四个命令操作： 6）hdfs上传文件执行jar 这是查看某个文件的操作 7）进行集群的时候进行远程拷贝操作： 只在自己的下面执行： 8）完全分布式配置： 写入脚本进行分发：大概的代码如下 阅读全文
posted @ 2020-08-13 18:12 喜欢爬的孩子 阅读(198) 评论(0) 推荐(0)