爬虫各种问题总结方案

selenium报错

• selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable
  可能是代码中没有全屏，元素没有加载全

    baiduweb = webdriver.Chrome(service=Service('chromedriver.exe'))
    baiduweb.implicitly_wait(10)

    baiduweb.get('https://zhidao.baidu.com/list?cid=110')
    baiduweb.maximize_window()   #全屏显示

• selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
  find_elements列表for循环,元素过期

  questions_list = baiduweb.find_elements(By.CLASS_NAME,'question-list-item')
  for i in range(len(questions_list)):
      title = baiduweb.find_elements(By.CLASS_NAME, 'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').text
      baiduweb.find_elements(By.CLASS_NAME,'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').click()   #重新定位当前页面的元素

Srapy框架

• 新创建了爬虫项目，要在新的目录底下创建爬虫，否则爬虫项目会在默认目录
  

• 新建爬虫项目之后，无法在对应目录生成爬虫，可以试试将爬虫路径加到边境变量