CrossPython - 博客园

2018年10月3日

mysql INSERT ... ON DUPLICATE KEY UPDATE语句

摘要：网上关于INSERT ... ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。相当于先判断一条记录是否存在，存在则update，否则insert。其语阅读全文

posted @ 2018-10-03 20:05 CrossPython 阅读(885) 评论(0) 推荐(0)

Scrapy小技巧-MySQL存储, MYSQL拼接

摘要：这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。只要你的Scrapy Field字段名字和数据库字段的名字一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。具体拼接代码如下：这个SQL拼接实现了，如果数据库存在相同数据则更新，不存在则插入的SQL 阅读全文

posted @ 2018-10-03 20:00 CrossPython 阅读(252) 评论(0) 推荐(0)

scrapy 去重 dont_filter=False

摘要： yield Request(...... 阅读全文

posted @ 2018-10-03 19:09 CrossPython 阅读(3491) 评论(0) 推荐(0)

Spider, CrawlSpider 实例

摘要： https://www.jb51.net/article/129351.htm 阅读全文

posted @ 2018-10-03 18:25 CrossPython 阅读(114) 评论(0) 推荐(0)

2018年10月2日

linux操作文件和文件夹

摘要： rm filerm -rf folder如将/test1目录下的file1复制到/test3目录，并将文件名改为file2,可输入以下命令：cp /test1/file1 /test3/file2 如将/test1目录下的file1复制到/test3 目录，并将文件名改为file2,可输入以下命令：阅读全文

posted @ 2018-10-02 11:09 CrossPython 阅读(361) 评论(0) 推荐(0)

Selenium+Headless Firefox

摘要：背景今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后，着手部署到服务器上，刚买的热乎的京东云，噼里啪啦一顿安装环境，最后跑的时候报了这么个错误：运用我考了五遍才飘过的六级英语定睛一看，这个意思是说，新版本的Selenium不再支持PhantomJS了，请使用Chrom 阅读全文

posted @ 2018-10-02 09:40 CrossPython 阅读(2473) 评论(0) 推荐(0)

2018年10月1日

解决pycharm问题：module 'pip' has no attribute 'main'

摘要： https://www.cnblogs.com/Fordestiny/p/8901100.html 解决pycharm问题：module 'pip' has no attribute 'main' 阅读全文

posted @ 2018-10-01 19:39 CrossPython 阅读(244) 评论(0) 推荐(0)

No module named scrapy 成功安装scrapy，却无法import的解决方法

摘要：今天本来准备写一个Python的爬虫，然而使用pip安装了Scrapy之后，却无论如何也无法import，显示的结果总是ImportError: No module named Scrapy。网上查阅了很多资料都无法解决这个问题，无奈之下只好自己摸索。终于我发现了存在的问题，我的D盘中，有两个PYT 阅读全文

posted @ 2018-10-01 19:22 CrossPython 阅读(11646) 评论(0) 推荐(0)

linux装sqlite3

摘要：下载sqlite3源码包tar xvfz sqlite-src-3.3.5cd sqlite-3.3.5./configure –no-tclmake python继续一次。 apt install -f 修复关系 http://www.mamicode.com/info-detail-173864 阅读全文

posted @ 2018-10-01 19:05 CrossPython 阅读(608) 评论(0) 推荐(0)

linux python3 安装scrapy 后提示 -bash: scrapy: 未找到命令

摘要： https://blog.csdn.net/dangsh_/article/details/79613210 阅读全文

posted @ 2018-10-01 17:14 CrossPython 阅读(555) 评论(0) 推荐(0)

使用splash爬去JavaScript动态请求的内容

摘要： https://blog.csdn.net/qq_32093267/article/details/78156184 阅读全文

posted @ 2018-10-01 14:10 CrossPython 阅读(163) 评论(0) 推荐(0)

2018年8月13日

python之auto鼠标/键盘事件

摘要： mouse_key.py test.py 阅读全文

posted @ 2018-08-13 15:21 CrossPython 阅读(956) 评论(0) 推荐(0)

python分割txt文件

摘要：分割txt文件阅读全文

posted @ 2018-08-13 09:30 CrossPython 阅读(1266) 评论(0) 推荐(0)

公告