摘要：1、正则表达式 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 re 模块使 Python 语言拥有全部的正则表达式功能。 re.match函数 re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。 结 阅读全文

摘要：关于模拟浏览器登录的header，可以在相应网站按F12调取出编辑器，点击netwook，如下： 以便于不会被网站反爬虫拒绝。 import requests from bs4 import BeautifulSoup def get_movies(): headers = { 'user-agen 阅读全文

摘要：基于python3的实现，获取网页的基础技术：request、urllib、selenium；解析网页的基础技术：re正则表达式、BeautifulSoup、和lxml；储存技术：数据库或者表格。 python环境搭建： 1、pycharm； 2、anaconda，适合基础入门，自带很多包，则无需安 阅读全文

摘要：网络爬虫定义： web spider，网络蜘蛛是通过网页的链接地址来寻找网页的。 打开网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了 一次请求，把服务器端的文件“抓”到本地，再进行解释、展现。HTML是一种标记语言，用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML 阅读全文