摘要：
摘要：本文讲的是利用Python实现网页数据抓取的三种方法；分别为正则表达式（re）、BeautifulSoup模块和lxml模块。本文所有代码均是在python3.5中运行的。 本文抓取的是[中央气象台](http://www.nmc.cn/)首页头条信息： 其HTML层次结构为： 抓取其中hre 阅读全文
posted @ 2022-02-19 07:36
锐洋智能
阅读(1809)
评论(0)
推荐(0)
摘要：
apply_async()本身就可以返回被进程调用的函数的返回值。上一个创建多个子进程的代码中，如果在函数func中返回一个值，那么pool.apply_async(func, (msg, ))的结果就是返回pool中所有进程的值的对象（注意是对象，不是值本身）。 import multiproce 阅读全文
posted @ 2022-02-18 17:46
锐洋智能
阅读(4480)
评论(1)
推荐(1)
摘要：
import random import time import multiprocessing def worker(name, q): t = 0 for i in range(10): print(name + " " + str(i)) x = random.randint(1, 3) t 阅读全文
posted @ 2022-02-18 17:33
锐洋智能
阅读(2556)
评论(0)
推荐(0)
摘要：
import multiprocessing def run(ID, q): print("Starting thread %s " % (ID)) q.put(ID) return None if __name__ == '__main__': p_list=[] q = multiprocess 阅读全文
posted @ 2022-02-18 17:15
锐洋智能
阅读(714)
评论(0)
推荐(0)
摘要：
个人一直觉得对学习任何知识而言，概念是相当重要的。掌握了概念和原理，细节可以留给实践去推敲。掌握的关键在于理解，通过具体的实例和实际操作来感性的体会概念和原理可以起到很好的效果。本文通过一些具体的例子简单介绍一下python的多线程和多进程，后续会写一些进程通信和线程通信的一些文章。 python多 阅读全文
posted @ 2022-02-18 16:36
锐洋智能
阅读(243)
评论(0)
推荐(0)
摘要：
直接就一句话，采用绝对路径的情况下：os.system('C:/Users/你的路径/reyo.bat')需要注意，你如果直接赋值windows下的路径是这样的：C:\Windows\reyo\AppPatch64 阅读全文
posted @ 2022-02-18 06:27
锐洋智能
阅读(283)
评论(0)
推荐(0)
摘要：
# _*_coding:utf-8_*_ import time import threading import configparser import os from datetime import datetime class MyThread(threading.Thread): def __ 阅读全文
posted @ 2022-02-16 12:10
锐洋智能
阅读(111)
评论(0)
推荐(0)
摘要：
开机自启python打包exe开机自动启动的实例(windows)https://www.jb51.net/article/164217.htmPython读取ini配置文件的方式https://www.cnblogs.com/skaarl/p/10274116.htmlimport win32ap 阅读全文
posted @ 2022-02-16 10:05
锐洋智能
阅读(81)
评论(0)
推荐(0)
摘要：
打开电脑的控制面板，之后点击日期和时间。 进入日期和时间，点击更改日期和时间。 之后点击更改日期设置。 进入日期页面，在短日期处，加上4个d，也就是dddd。 阅读全文
posted @ 2022-02-12 06:03
锐洋智能
阅读(1183)
评论(0)
推荐(0)
摘要：
在进行了一些转换之后,我获得了以下数据帧,如何通过本例short_name中的列并使用其他作为指示符频率来获取前n个记录.我读了这个post,但两个解决方案的问题是他们摆脱了列product_name,他们只保留了分组列,我需要保留它们. short_name product_id frequenc 阅读全文
posted @ 2022-02-11 19:23
锐洋智能
阅读(213)
评论(0)
推荐(0)
摘要：
阅读目录 1.1 有两种丢失数据： 1.2 np.nan（NaN） 1.3 pandas中的None与NaN 2.1 空值检测 2.2 空值过滤 2.3 空值填充¶ 1.空值 1.1 有两种丢失数据： None: Python自带的数据类型 不能参与到任何计算中 np.nan: float类型 能参 阅读全文
posted @ 2022-02-11 09:08
锐洋智能
阅读(2331)
评论(0)
推荐(0)
摘要：
解决办法1）添加新列，设置列的结构属性。alter table information add column 'yyy' varchar(255) not null first; -新添加列yyy至第一列.2）将出错的列内容复制到新列中并删除出错列update information set yyy 阅读全文
posted @ 2022-02-10 10:13
锐洋智能
阅读(354)
评论(0)
推荐(0)
摘要：
nginx的headers_more模块用于 添加、修改或清除 请求/响应头，该模块不是nginx自带的，默认不包含该模块，需要另外安装。幸运的是openresty默认包含了该模块，可以直接使用。 该模块主要有4个指令 more_set_headers 用于 添加、修改、清除 响应头more_cle 阅读全文
posted @ 2022-02-07 10:36
锐洋智能
阅读(1509)
评论(0)
推荐(0)
摘要：
修改src/http/ngx_http_header_filter_module.c 找到下面两行： static char ngx_http_server_string[] = "Server: nginx" CRLF; static char ngx_http_server_full_strin 阅读全文
posted @ 2022-02-07 10:32
锐洋智能
阅读(2734)
评论(0)
推荐(0)
摘要：
上下文使用Lua时序方法init_by_lua*, set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, ngx. 阅读全文
posted @ 2022-02-07 10:30
锐洋智能
阅读(815)
评论(0)
推荐(0)
摘要：
如果有等于的返回目标值本身和第一个数 数据 1、2、4、5、7、8、10 例1：条件值：2 结果值：2、4 例2：条件值：3 结果值：2、4 例3：条件值：6 结果值：5、6 select founder_id from audit_info WHERE id in( (select id from 阅读全文
posted @ 2022-02-07 07:06
锐洋智能
阅读(247)
评论(0)
推荐(0)
摘要：
1、round(x,d) :用于数据的四舍五入,round(x) ,其实就是round(x,0),也就是默认d为0； 这里有个值得注意的地方是，d可以是负数，这时是指定小数点左边的d位整数位为0,同时小数位均为0； SELECT ROUND(100.3465,2),ROUND(100,2),ROUN 阅读全文
posted @ 2022-02-05 10:58
锐洋智能
阅读(4013)
评论(0)
推荐(0)
摘要：
在量化交易中，我们一般会用到一些常用的指标，比如移动平均线(ma), MACD，KDJ，EMA，EXPMA等等。一般计算kdj等指标会用到talib金融库。但是如果用pandas的dataframe来存放数据的话，实际上只用Pandas的内置方法也是可以很容易的计算一些常用指标的。本文就介绍只用10 阅读全文
posted @ 2022-02-03 21:10
锐洋智能
阅读(822)
评论(0)
推荐(0)
摘要：
def calKdj(df): low_list = df['low'].rolling(9, min_periods=9).min() low_list.fillna(value=df['low'].expanding().min(), inplace=True) high_list = df[' 阅读全文
posted @ 2022-02-03 20:58
锐洋智能
阅读(608)
评论(0)
推荐(0)
摘要：
ngx_lua模块的原理： 1、每个worker（工作进程）创建一个Lua VM，worker内所有协程共享VM；2、将Nginx I/O原语封装后注入 Lua VM，允许Lua代码直接访问；3、每个外部请求都由一个Lua协程处理，协程之间数据隔离；4、Lua代码调用I/O操作等异步接口时，会挂起当 阅读全文
posted @ 2022-01-30 17:06
锐洋智能
阅读(350)
评论(0)
推荐(0)
摘要：
Nginx环境 a. 查看当前系统cat /etc/redhat-release [root@nginx /]# cat /etc/redhat-release CentOS release 6.7 (Final) [root@nginx /]# b. 查看系统内核uname –r [root@ng 阅读全文
posted @ 2022-01-29 21:47
锐洋智能
阅读(124)
评论(0)
推荐(0)
摘要：
修改了下nginx的配置 server { listen 80; server_name localhost; client_max_body_size 10M; location /web/service/upload { proxy_pass http://192.168.1.188/uploa 阅读全文
posted @ 2022-01-28 20:33
锐洋智能
阅读(143)
评论(0)
推荐(0)
摘要：
OpenResty 官方提供了封装好的 lua函数，方便我们开箱即用。支持一下几个场景： 根据ip限制并发连接数 限制时间窗口的请求数，如：限制 ip 每分钟只能调用 100 次 /order 接口，（允许在时间段开始的时候一次性放过100个请求） 平滑限制接口请求数，如：限制 ip 每分钟只能调用 阅读全文
posted @ 2022-01-28 16:44
锐洋智能
阅读(762)
评论(0)
推荐(0)
摘要：
说明：openresty可以理解为一个服务器它将nginx的核心包含了过来，并结合lua脚本语言实现一些对性能要求高的功能，该篇文章介绍了使用openresty 1.purview.lua --调用json公共组件 cjson = require("cjson") fun = require("tt 阅读全文
posted @ 2022-01-28 12:01
锐洋智能
阅读(238)
评论(0)
推荐(0)
摘要：
在Nginx服务器上进行一些常规设置，限制某一段时间内同一ip访问数实例. nginx限制ip访问频率数，也是说限制同一个ip在一段时间里连接服务器的次数. 通过这种设置，可以一定程度上防止类似CC这种快速频率请求的攻击 1，HttpLimitReqModul 限制某一段时间内同一ip访问数实例 这 阅读全文
posted @ 2022-01-26 21:54
锐洋智能
阅读(1791)
评论(0)
推荐(0)
摘要：
用文本编辑器打开chromedriver.exe，搜索$cdc_asdjflasutopfhvcZLmcfl_这个字符串，随便改几个字母，保持相同长度就行 /** * Returns the global object cache for the page. * @param {Document=} 阅读全文
posted @ 2022-01-26 21:07
锐洋智能
阅读(520)
评论(0)
推荐(0)
摘要：
\ 本章主要对Nginx服务器的常用配置文件，包括虚拟主机配置，location配置级语法等。 1. 虚拟主机配置 在前面启动Nignx后，Nginx目录下会多出几个文件夹 1 2 3 4 5 6 7 8 9 10 11 /usr/local/nginx --conf 配置文件 --html 网页文 阅读全文
posted @ 2022-01-26 16:44
锐洋智能
阅读(347)
评论(0)
推荐(0)
摘要：
nginx -t报警告如下：[emerg]: could not build theproxy_headers_hash, you should increase either proxy_headers_hash_max_size: 512or proxy_headers_hash_bucket_ 阅读全文
posted @ 2022-01-24 21:31
锐洋智能
阅读(891)
评论(0)
推荐(0)
摘要：
去除数组重复值方法： 1，利用indexOf()方法去除 思路：创建一个新数组，然后循环要去重的数组，然后用新数组去找要去重数组的值，如果找不到则使用.push添加到新数组，最后把新数组返回回去就行了 看不懂没关系，上代码就比较容易懂了 function fun(arr){ let newsArr 阅读全文
posted @ 2022-01-22 11:52
锐洋智能
阅读(2677)
评论(0)
推荐(0)
摘要：
一月 21, 2022 7:23:27 上午 org.quartz.impl.jdbcjobstore.JobStoreSupport recoverMisfiredJobs信息: Handling 5 trigger(s) that missed their scheduled fire-time 阅读全文
posted @ 2022-01-21 07:25
锐洋智能
阅读(1000)
评论(0)
推荐(0)
摘要：
20-Jan-2022 20:08:58.201 信息 [catalina-exec-40] org.apache.coyote.AbstractProcessor.parseHost [${ip}:${port}] 是无效主机 注意：更多的请求解析错误将以DEBUG级别日志进行记录。 java.l 阅读全文
posted @ 2022-01-21 06:58
锐洋智能
阅读(672)
评论(0)
推荐(0)
摘要：
介绍switchTo中关于处理alert弹窗的问题。很多时候，我们进入一个网站，就会弹窗一个alert框， 有些我们直接关闭，有些可能有取消和确定按钮，还有些调查的alert框，可以运行用户输入文字， 例如预定一个网站的资讯，输入邮箱地址就可以，每天接收一封该网站推送的邮件。 accept()方法就 阅读全文
posted @ 2022-01-20 11:32
锐洋智能
阅读(596)
评论(0)
推荐(0)
摘要：
有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver，以为这样就能做到不被网站的反爬虫机制发现。 先不说淘宝这种基于用户行为的反爬虫策略，仅仅是一个普通的小网站，使用一行Javascript代码，就能轻轻松松识别你是否使用了Selenium + Chromedriver 阅读全文
posted @ 2022-01-20 09:36
锐洋智能
阅读(361)
评论(0)
推荐(0)
摘要：
webdriver = window.navigator.webdriver; if(webdriver){ console.log('你这个傻逼你以为使用Selenium模拟浏览器就可以了？') } else { console.log('正常浏览器') } 阅读全文
posted @ 2022-01-20 09:34
锐洋智能
阅读(92)
评论(0)
推荐(0)
摘要：
如图，一些元素除了class值外，其他属性都一样，而class值有多个，不能直接使用driver.find_element_by_class_name("new-tj2 active")定位元素，此时可以用css元素定位方法： driver.find_element_by_css_selector( 阅读全文
posted @ 2022-01-19 16:52
锐洋智能
阅读(2290)
评论(0)
推荐(0)
摘要：
selenium被识别的解决方法 ChromeDriver driver = new ChromeDriver(options); Map<String,Object> command = new HashMap<>(); command.put("source","Object.definePro 阅读全文
posted @ 2022-01-19 16:21
锐洋智能
阅读(750)
评论(0)
推荐(0)
摘要：
问题 之前客户能够正常访问的一个网站这几天访问很慢，甚至有时候还拒绝访问。通过Nginx访问日志排查，发现有大量的请求指向同一个页面，而且访问的客户端IP地址在不断变化且没有太多规律，很难通过限制IP来拒绝访问。但请求的user-agent都带有Bytespider标记，这是一种流氓爬虫。访问日志如 阅读全文
posted @ 2022-01-19 11:34
锐洋智能
阅读(449)
评论(0)
推荐(0)
摘要：
在对数据库进行查询的时候有时候需要将查询的结果按照某字段升序或者降序排列，甚至有时候需要按照某两个字段进行升降序排列。如果按照某一字段进行排列，只需要在查询语句最后写上 "order by 列名 asc"(升序) 或者 "order by 列名 desc"(降序)即可，那么如果按照字段A升序,字段B 阅读全文
posted @ 2022-01-19 09:30
锐洋智能
阅读(614)
评论(0)
推荐(0)
摘要：
1.4.198 (2019-02-22) 版本开始，H2不再自动创建数据库，很难在网上找到有解决方案,故down了源码 Connection to jdbc:h2:tcp://0.0.0.0:6666/./aika failed. [90149][90149] Database "/home/Hex 阅读全文
posted @ 2022-01-18 12:07
锐洋智能
阅读(1416)
评论(0)
推荐(0)
摘要：
解决方法修改nginx 的 原来配置： upstream xxx_tomcat]{ server 10.******* weight=1 ; server 10******** weight=1 ; } 改后配置： upstream xxxtomcat]{ server 10.******* wei 阅读全文
posted @ 2022-01-18 08:02
锐洋智能
阅读(325)
评论(0)
推荐(0)
浙公网安备 33010602011771号