day3笔记

今日内容：
    一 爬虫原理
    二 Requests请求库


一 爬虫原理
    1、什么是互联网？
        指的是由一堆网络设备，把一台台计算机互联网联系到一起称之为互联网

    2、互联网建立的目的？
        互联网建立的目的是为了数据的传递以及数据的共享

    3、什么是数据？
        例如淘宝、京东商品信息等...
        东方财富、雪球网的一些证券投资信息...
        链家、自如等房源信息...
        12306的票务信息...

    4、上网的全过程：
        - 普通用户：
            打开浏览器 --> 往目标站点发送请求 --> 获取响应数据 --> 渲染到浏览器中

        - 爬虫程序：
            模拟浏览器 --> 往目标站点发送请求 --> 获取响应数据 --> 提取有价值的数据 --> 持久化到数据中

    5、浏览器发送的是什么请求？
        http协议的请求
        - 客户端：
            浏览器是一个软件 --> 客户端的 IP 和 端口
        - 服务端
        http://www.jd.com/
        www.jd.com（京东域名) ->DNS解析 -> 京东服务端的 IP 和 端口
        http + ssl://www.jd.com/  #ssl是安全证书

        客户端的IP和端口 ----> 服务端的 IP 和 端口 发送请求可以建立链接获取相应数据

    6、爬虫的全过程：
        - 发送请求      （需要请求库：Requests请求库、Selenium请求库）
        - 获取响应数据    （只要往服务器发送请求，请求通过后会返回响应数据）
        - 解析并提取数据  （需要请求库：re、BeautifulSoup4、Xpath...）
        - 保存到本地      （文件处理、数据库、MongoDB存储库）


二 Requests请求库

    1、安装于使用
        - 打开cmd
        - 输入：pip3 install requests

    2、爬取视频

    3、抓包分析
        打开浏览器的开发者模式（检查） ——>选中network
        找到访问的页面后缀xxx.html（响应文本）


        1)请求url（访问的网站地址）
        2)请求方式
            GET:
                直接发送请求获取数据
                http://www.cnblogs.com/kermitjam/articles/9692597.html

            POST:
                需要携带用户信息往目标地址发送请求
                http://www.cnblogs.com/login


        3) 响应状态码：
            2xx：成功
            3xx：重定向
            4xx：找不到资源
            5xx：服务器错误

        4）请求头信息：
            User-Agent：用户代理（证明是通过电脑设备及浏览器发送的请求）
            Cookies：登录用户真实信息（证明你目标网站的用户）
            Referer：上一次访问的url（证明你是从目标网站跳转过来的）


        5）请求体：
            POST请求才会有请求体
            From Data
                {
                    'user':'tank',
                    'pwd':'123'
                }
四 爬取豆瓣电影
.：从当前位置开始
*：查找所有
?：找到第一个不找

.*?：非贪婪匹配(过滤掉）
.*：贪婪匹配

（.*?）：提取括号内的数据

电影排名、电影url、电影名称、导演-主演-类型、电影评分、评价人数、电影简介
#爬取信息
<div class="item">.*?<em class="">(.*?)</em>
.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>
.*?导演:(.*?)</p>.*?<span class="rating_num".*?>(.*?)</span>
.*?<span>(.*?)人评价</span>.*?<span class="inq">(.*?)</span>


#信息来源
<div class="item">
                <div class="pic">
                    <em class="">1</em>
                    <a href="https://movie.douban.com/subject/1292052/">
                        <img width="100" alt="肖申克的救赎" src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.webp" class="">
                    </a>
                </div>
                <div class="info">
                    <div class="hd">
                        <a href="https://movie.douban.com/subject/1292052/" class="">
                            <span class="title">肖申克的救赎</span>
                                    <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
                                <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
                        </a>


                            <span class="playable">[可播放]</span>
                    </div>
                    <div class="bd">
                        <p class="">
                            导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
                            1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情
                        </p>


                        <div class="star">
                                <span class="rating5-t"></span>
                                <span class="rating_num" property="v:average">9.6</span>
                                <span property="v:best" content="10.0"></span>
                                <span>1463103人评价</span>
                        </div>

                            <p class="quote">
                                <span class="inq">希望让人自由。</span>
                            </p>
                    </div>
                </div>
            </div>