随笔分类 -  spider

摘要:目标网页:https://m.gojoy.cn/pages/login/ 将我删除i ndex?from=%2Fpages%2Fuser%2Findex 需要工具:chrome和油猴 油猴代码: 第一步,F12,在第三行数字上,右键选择 Add conditional breakpoint, 用于越 阅读全文
posted @ 2019-10-26 17:03 spotfg 阅读(1305) 评论(0) 推荐(0)
摘要:webdriver __driver_evaluate __webdriver_evaluate __selenium_evaluate __fxdriver_evaluate __driver_unwrapped __webdriver_unwrapped __selenium_unwrapped 阅读全文
posted @ 2019-09-13 15:07 spotfg 阅读(351) 评论(0) 推荐(0)
摘要:有大佬说:“搜 arraybuffer 的 polyfill 然后翻译成 python就行了” 。。。 阅读全文
posted @ 2019-09-13 14:34 spotfg 阅读(204) 评论(0) 推荐(0)
摘要:urllib.request模块 使用换头及代理打开网页 # 需自行更改, 不用代理可以直接改成urllib.request.ProxyHandler({}) opener = urllib.request.build_opener(urllib.request.ProxyHandler({'代理类型': '代理IP:端口号'})) op... 阅读全文
posted @ 2019-09-12 10:27 spotfg 阅读(136) 评论(0) 推荐(0)
摘要:载入开车模块 from selenium import webdriver driver = webdriver.PhantomJS(executable_path='路径') driver.get(url) 进入开车模式 使用代理: (1) service_args = [ '--proxy=%s 阅读全文
posted @ 2019-09-12 10:24 spotfg 阅读(188) 评论(0) 推荐(0)