上一页 1 ··· 6 7 8 9 10 11 12 13 下一页
摘要: 1. 当在chrome中使用‘--headless’不打开UI执行时,driver.get(url)比一般的模式慢很多,打开网页很多都超过了35s,具体原因不清楚,有说是要加上 chrome_options.add_argument('--no-proxy-server') chrome_optio 阅读全文
posted @ 2020-11-26 19:50 zjhgx 阅读(244) 评论(0) 推荐(0)
摘要: 1. 要注意动态语言和java不同的点,比如下面这段代码 2.用sqlalchemy插入表时,遇到一个问题,一张表可以插进去,另外一张表却不行 # 插入或更新crawl_items def insert_or_update(self,cls,table_item,**kwargs): self.lo 阅读全文
posted @ 2020-06-14 01:58 zjhgx 阅读(229) 评论(0) 推荐(0)
摘要: 1. 因为刚开始开发python程序不久就遇到了一个generator的问题,python有的特性还是和java有所区别,记录一下这个问题 def parse(self, response): self.logger.info("smzdm_jingxuan spider starting") se 阅读全文
posted @ 2020-06-10 23:29 zjhgx 阅读(430) 评论(0) 推荐(0)
摘要: 最近笔记本从13年的X1 carbon换到了mbp 16",操作系统也从ubuntu换成了macOs。一些软件的快捷键也和以前的不一样,比如以前ctrl C复制,ctrl V黏贴老熟了,但苹果系统换成了command + 的形式,还好可以把ctrl键设置成与command键互换,但以前用的idea, 阅读全文
posted @ 2020-05-22 23:16 zjhgx 阅读(1243) 评论(0) 推荐(0)
摘要: broswer = webdriver.Firefox() broswer.get("https://www.smzdm.com/p/20765776/#hfeeds") # self.logger.info(broswer.page_source) goods_scrapy_selector = 阅读全文
posted @ 2020-05-02 00:19 zjhgx 阅读(6481) 评论(0) 推荐(0)
摘要: 1. 一开始是想用scrapy和selenium来爬什么值得买,结果遇到了一个奇怪的问题,直接上代码 def start_requests(self): self.logger.info("starting") broswer = webdriver.Firefox() broswer.get(se 阅读全文
posted @ 2020-04-25 01:07 zjhgx 阅读(773) 评论(0) 推荐(0)
摘要: 最近在导购项目中增加了两个模块,common,job. 原先的admin,web还有job引用了common包。其中common包的pom.xml如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache 阅读全文
posted @ 2020-03-11 10:08 zjhgx 阅读(334) 评论(0) 推荐(0)
摘要: 原先server_name 配的是api.test.toutiao.applet.rockysaas.com,监听的是80端口,http。后来域名改成了api-test.tbk.rockysaas.com,监听443,https。但是发现原先的api.test.toutiao.applet.rock 阅读全文
posted @ 2020-02-29 10:36 zjhgx 阅读(5394) 评论(0) 推荐(1)
摘要: 项目中用FeignClient上传文件时,发现大小无法大于1M,代码如下: 当文件>1M时,被调用的uploadFile方法的requestMap就变成空了,原因不明。 于是换了种写法: 问题没了 阅读全文
posted @ 2020-01-17 20:25 zjhgx 阅读(1038) 评论(0) 推荐(0)
摘要: 发现测试服务器一台muc启动失败,另一台是好的,本地也没问题,报错信息如下: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'mucAccountLoginControll 阅读全文
posted @ 2020-01-06 21:49 zjhgx 阅读(8662) 评论(1) 推荐(2)
上一页 1 ··· 6 7 8 9 10 11 12 13 下一页