爬虫实例(一)：模拟登录CSDN

1.采用python模拟登录CSDN的时候分为三步走：

1.获取url=https://passport.csdn.net/account/login；

2.分析登录信息：从网页中得到username,password和hideen标签隐藏的属性，在CSDN中有三个隐藏标签，lt，execution,_eventId  //注意这三个标签是动态的比能够写死

3.POST数据分析：

1.构造属于hearder,同时大部分网站登录需要cookie，必须设置cookie处理器暴走cookie，使用Session模块会自动将cookies保存，会自动将数据保存,Session能够自动保持其中会话过程（学习Java中网络编程），在登录CSDN过程中有Js编写出来的jsessionid动态的网页密码，在访问过程中要将其加入到URL+‘;’+'jsessionid'形式。

但是此爬虫过程中没有图片或者验证码之类的东西，还需要深入研究。。。。下节再看

#----coding-GBK----

import requests
from lxml import html
import re

Username="XXXXXX"
PassWord="XXXXXXX"

url="https://passport.csdn.net/account/login"
def craw_csdn():
    s=requests.Session()
    datas={'username':Username,'password':PassWord}
    head={'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
    
    b=s.post(url,data=datas)
    ##print (b.text)
    tree=html.fromstring(b.text)
    lt=list(set(tree.xpath("//input[@name='lt']/@value")))[0]
    
    execution=list(set(tree.xpath("//input[@name='execution']/@value")))[0]
      
    eventid=list(set(tree.xpath("//input[@name='_eventId']/@value")))[0]
    jsessionid=list(set(tree.xpath("//link/@href")))[0]
    jsessionid=str(re.findall('jsessionid=(.*)',jsessionid)[0])
    
    post_url=url+';'+'jsessionid='+jsessionid
    print (post_url)
    payload={
             'username':Username,
             'password':PassWord,
             'lt':lt,
             'execution':execution,
             '_eventId':eventid
             }
    
    agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0'
    head={
      'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
      'User-Agent':agent,
      'Host':'passport.csdn.net',
      'Referer':'https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn',
      
      }
    r=s.post(post_url,data=payload,headers=head)
    print(r.text)
　　if __name__=="__main__"：
47     craw_csdn()

结果显示出来登录的是CSDN中HTML还要web流程中深入挖掘其他的东西：

 

 4.网易云课堂上第二课爬取到的第二关的代码：

#--coding:utf-8-----
#!/usr/bin/env python
import requests
from lxml import html 
from _cffi_backend import string

url='http://www.heibanke.com/accounts/login'
logurl='http://www.heibanke.com/lesson/crawler_ex02/'

##采用尝试方式发送数据得到其中cirf值
def post_data_url(s,url,data):
    b=s.get(url)
    
    tree=html.fromstring(b.text)
    auth_token=list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
    print auth_token
    
    ##使用这句话将cookies保存下来
    params={'csrfmiddlewaretoken':b.cookies.get('csrftoken')}
    params.update(data)##将csrf加入到payload中

    r=s.post(url,data=params)##post向服务器发送的请求
    return r,s

s=requests.Session()
payload={
         'username':'test',
         'password':'test123'
         }
r,s=post_data_url(s,url,payload)

print r.status_code

for i in range(30):
    rr,s=post_data_url(s,logurl,{'username':'heibanke','password':str(i)})
    if rr.text.find(u'错误')>0:
        print i,"no correct"
        i+=1
    else:
        print rr.text
        break
    
    

 5.模拟登录CSDN的时候，采用requests_Session()模块，采用httpfix抓取：

从其中得到的信息中：post数据包，同时发现post 的url中有一段就jessionId的动态码，在python书写过程中必须要将其加入到url中同时得到post数据包提交的方法：

post -Data：

 红色箭头表示post的url，发现自动加上jessionid的东西