摘要：
一、缘由 这是之前学习的时候写下的基础代码，包含着MySQL数据库和Python交互的基本操作。 二、代码展示 import pymysql ''' 1、数据库的链接和创建视图 ''' # db=pymysql.connect(host='localhost',user='root',passwor 阅读全文
posted @ 2021-08-06 01:17
山水无期
阅读(270)
评论(0)
推荐(0)
摘要：
一、缘由 这是之前学习的时候写下的基础代码，包含着MongDB数据库和Python交互的基本操作。 二、代码实现 import pymongo #连接数据库 client=pymongo.MongoClient(host='localhost',port=27017) #制定数据库 db=clien 阅读全文
posted @ 2021-08-06 01:15
山水无期
阅读(40)
评论(0)
推荐(0)
摘要：
一、缘由 对于豆瓣的这个网站，记得使用了不少于三种的爬取和解析方式来进行的。今天的这种解析方式是我使用起来较为顺手，后来就更喜欢使用xpath解析，但是这两种也需要掌握。 二、代码展示 '''爬取豆瓣前50%的电影以及基本信息''' #html和css基础 #名称、评分、评价数、电影概况、电影链接 阅读全文
posted @ 2021-08-06 01:10
山水无期
阅读(65)
评论(0)
推荐(0)
摘要：
一、缘由 在脚本的运行中离不开日志文件，因为日志文件会更好的帮助我们找到出选的问题，或者来帮助我们审查是否出现问题，这样我们就不用时时刻刻的看着运行的过程也可以排除问题 二、代码展示 #coding:utf-8 import logging import os def init_log(path): 阅读全文
posted @ 2021-08-06 01:03
山水无期
阅读(118)
评论(0)
推荐(0)
摘要：
一、缘由 这是我之前刚开始学习的时候爬取糗百的练习内容，主要练习的是bs64解析。虽然现在用的不是特别的多，但是当初的时候用起来还是非常的顺手的。 二、代码实现 #coding:utf-8 import requests from bs4 import BeautifulSoup def downl 阅读全文
posted @ 2021-08-06 00:59
山水无期
阅读(83)
评论(0)
推荐(0)
摘要：
一、缘由 在梨视频等一些网站中会使用防盗链作为反爬的基础方法，这个反爬并不严重，只是平时的时候需要多加留意。此次实现对应链接中梨视频的下载。 二、代码实现 #1、拿到contid #2、拿到videoStatus返回的json.-> srcURL #3、srcURL里面的内容进行修整 成为src # 阅读全文
posted @ 2021-08-06 00:45
山水无期
阅读(284)
评论(0)
推荐(0)
摘要：
爬取小姐姐的美图 一、缘由 我想每一个学习爬虫的都会爬取一次小姐姐的美图吧，我也不例外。还记得这是我刚学不久的时候爬取的图片。来，先上效果图。 二、代码实现 #encoding='utf-8' #1、拿到主页面的源代码，然后提取到企业民的链接地址，herf #2、通过herf拿到子页面的内容，从子页 阅读全文
posted @ 2021-08-06 00:28
山水无期
阅读(118)
评论(0)
推荐(0)
摘要：
一、缘由 有的时候为了提高爬虫的效率，那么就需要使用各种方法来提高爬虫的效率，无疑多线程是一个非常好的选择。不过在使用的时候，一定要控制好爬取的速率，短时间的访问量不要太大。第一，避免给别人家的服务器造成比较大的影响。第二，方式你的IP或者你的账号被封禁。即使出现第二种情况的时候，我们可以使用由代理 阅读全文
posted @ 2021-08-06 00:15
山水无期
阅读(108)
评论(0)
推荐(0)
摘要：
一、缘由 上一篇输入关键词“口红”，将淘宝中的的相关商品信息全部爬取了下拉，并且以CSV的文件格式储存。我们拿到数据之后，那么就需要对数据进行处理。只是将爬取到的数据以更直观的方式——图表呈现出来。并且最后使用jieba、wordcloud来对商品名称进行词云的分析。 二、代码实现 话不多说，直接上 阅读全文
posted @ 2021-08-06 00:03
山水无期
阅读(481)
评论(0)
推荐(0)
浙公网安备 33010602011771号