Python 高级课程

 

 

 

   

 

 

 

windows安装下： 

 

 

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

              

 

 HASH 与 python 交互

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 AOF持久化 (append only file)：

 

 

 

 

 

             

 

 

 

 

              

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 实例：

 

 

 

 事务中，执行错误的处理：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

==============================爬虫=================================================

 

 

 

 

 

 

 

 

 

 

 

 

 

 使用流程：

 

 

 

 

 

 

            

 

 

 

from urllib import request,parse
import random
import time
　　form fake_useragent import UserAgent

class TiebaSpider(object):
    def __init__():
　　　　　　self.url = ''
　　　　　　self.headers = {'User-Agent':''}

    
    #获取响应内容
    def get_page(self,url):
        pass
    
    #解析，提取数据
    def parse_page(self):
        pass
        
    #保存数据
    def write_page():
        pass
        
    #入口函数
    def run(self):
        pass

if __name__ == '__main__':
    spider = TiebaSpider()
    spider.run()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

           

 

 因为csv在windows中会多加个空行，所以用newline来设置空

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 xpath常用函数：

 

 

 

 

 

 

 

 

 

            

            

           

 

  

  

 

 

 

 

 

 　　

 

 

 

 

 

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 Scrapy数据持久化存储

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       

       

       

       

         

 

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 =======================================trainingcamp======================================

 

linux常用命令：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

awk是每一行数据做处理，默认以空白进行切割

 

 常见端口号：

 

 

 

 

 

 

 

 

            

            

 

 

 

 

 

 

 

 

 

IF分支结构：

 

 

 seq 造数函数