摘要： 这次练习的过程中遇到了很多坑，大坑第一条：因为我每次都是在以前建好的project上直接修改请求地址，修改了starturl后没有修改Formrequest的导致一直获取不到验证码的地址，在scrapy shell试过很多次之后不明白为什么，后来换成xpath，xpath用的少，语法不熟悉又重新查看 阅读全文

摘要： 遇到的问题：csrftoken cfduid 是在request.headers里面的，一直在找怎么在scrapy里get request.header,从scrapy shell ,then fetch then request.headers可以get正确的内容，但是scrapy project中，不知道怎么写代码，网上找到response.request.headers，这个写法，但是返回... 阅读全文

摘要： https://stackoverflow.com/questions/37841409/python-scrapy-login-authenication-issue 阅读全文