2017年12月19日
browser user agent
摘要： 乐视X501 UC浏览器1080x1920x32Mozilla/5.0 (Linux; U; Android 5.0.2; zh-CN; Letv X501 Build/DBXCNOP5501304131S) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.10.0.800 U3/0.8.0 Mobile Safa... 阅读全文
posted @ 2017-12-19 23:49 papering 阅读(419) 评论(0) 推荐(0)
res_d_l =[{'contents':d.contents,'href':d.attrs['href']} for d in rd] 泛型
摘要： from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# from selenium.webdriver.firefox.options import Optionsimport timefrom time import sleepimport mathimport randomim... 阅读全文
posted @ 2017-12-19 23:43 papering 阅读(311) 评论(0) 推荐(0)
tmp
摘要： -- 经排查日志，发现ordertest.com下的url检测，频繁<Response [403]>,Forbidden;再进一步查询数据库数据：逐日统计错误临时表test_error_temp中ordertest.com日行数：SELECT COUNT(1),FROM_UNIXTIME(creat 阅读全文
posted @ 2017-12-19 14:38 papering 阅读(207) 评论(0) 推荐(0)
Connection reset by peer
摘要： https://msdn.microsoft.com/en-us/library/ms847613.aspx Error Message: Connection reset by peer. Explanation: A connection was forcibly closed by a pee 阅读全文
posted @ 2017-12-19 13:35 papering 阅读(741) 评论(0) 推荐(0)
数据分析浏览器端展示 技术选型
摘要： python 相对其他语言，在业务数据运算/分析方面，高效的编码速度 阅读全文
posted @ 2017-12-19 11:05 papering 阅读(138) 评论(0) 推荐(0)
mysql 查询语句去重 通过sql去重
摘要： url 在表中具有唯一性； 由于定时任务的多进程/代码的多线程/定时任务的调度/脚本的执行时间，导致，破坏了唯一性； SELECT COUNT(1) FROM test_error_tmpUNION ALL SELECT COUNT(DISTINCT url) FROM test_error_tmp 阅读全文
posted @ 2017-12-19 08:51 papering 阅读(1320) 评论(0) 推荐(0)