摘要: 这个日志没有依赖自己的其他包,复制即可运行,也可以从pypi网站上下载或者pip来安装这个日志。 1、日志内置了7种模板,其中模版4和模板5,可以实现点击日志跳转到指定文件指定行数的功能,史无前例的实现这种方式。 2、使用了ColorHandler作为默认的控制台显示日志,而不是使用官方的Stram 阅读全文
posted @ 2019-03-09 19:38 北风之神0509 阅读(18055) 评论(0) 推荐(2) 编辑
摘要: 更新 python万能消费框架,新增7种中间件(或操作mq的包)和三种并发模式。 框架目的是分布式调度起一切任何函数(当然也包括调度起一切任何方法)。 之前写的是基于rabbitmq的,作为专用的消息队列好处比redis的list结构好很多。但有的人还是强烈喜欢用redis,以及rabbitmq安装 阅读全文
posted @ 2019-03-08 15:24 北风之神0509 阅读(16096) 评论(2) 推荐(2) 编辑
摘要: 1、self是什么,一般都说指对象本身,这样说了没了用,说了后还是很难懂,因为这样说了后,仍然完全搞不清楚,什么时候变量前需要加self,什么时候不需要加self。 造成很多人,已经怕了self,不停地测试,加self减self来测试代码,或者干脆不知道要不要self,所有变量前面一律加self,这 阅读全文
posted @ 2018-08-07 10:51 北风之神0509 阅读(19527) 评论(10) 推荐(4) 编辑
摘要: 前言: oop非常非常非常重要。搞不懂oop,就玩不了python,就算能写也一定是写代码时候喜欢靠猜瞎猫碰死老鼠写得心很虚。为什么这么说呢,我也是从面向过程编程到死走过来的,一路def到死,一看到有class的代码就逃到十万八千里了不想看,想千方设百计绕过这样的代码。不仅不愿意看这样的代码,而且写 阅读全文
posted @ 2018-07-04 21:48 北风之神0509 阅读(1843) 评论(4) 推荐(0) 编辑
摘要: 1、java是强制写class关键字的语言,不能有独立的函数游离在类外出现在文件中,这和python c++ 都不同,后面的都可以单独在类外写函数,所以java被称为是纯面向对象的语言,py和c++都不是强制向对象的写法。 2、尽管如此,有的笨瓜,还是打死也写不出类来,而且强烈的反对写类,认为面向过 阅读全文
posted @ 2018-06-04 09:58 北风之神0509 阅读(1827) 评论(0) 推荐(1) 编辑
摘要: 1、贴出主要代码。这个不是python,python只涉及了服务端对信息提取结果的接受。主体是java + android + js。由于淘宝各模块都是二级子域名,不能只在一个页面完成所有请求,ajax不能跨域。需要加载不同的页面。以下是主要部分。js内容使用服务端分发。 这样做好处,即使不使用微服 阅读全文
posted @ 2018-03-31 20:02 北风之神0509 阅读(4537) 评论(1) 推荐(0) 编辑
摘要: 设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。 设计模式一般是针对java语言而言,一般的主推面向过程的j 阅读全文
posted @ 2018-03-08 13:50 北风之神0509 阅读(45683) 评论(1) 推荐(3) 编辑
摘要: vi /etc/ssh/sshd_config # Authentication: #LoginGraceTime 2m #PermitRootLogin prohibit-password #StrictModes yes 修改后 # Authentication: LoginGraceTime 阅读全文
posted @ 2021-12-23 18:12 北风之神0509 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 网上一般搜不到解决方案,千篇一律说的是 ssh-keygen -t rsa -C "xx@xx.com" ,然后把id_rsa.pub的内容复制,在网页上的setting里面粘贴添加到ssh keys里面, 但对有的git服务器或者你的电脑操作系统,有时候光这么做却任然不行,提示需要输入密码git@ 阅读全文
posted @ 2021-12-22 12:02 北风之神0509 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 很多人做性能测试,吧print打开,吧log调到debug级别并使用了streamhandler,那就会疯狂打印到控制台。 打印控制台会影响代码性能吗?这是毫无疑问的,python print会严重影响python性能。 有很多人对分布式函数调度框架做性能测试,但在消费函数里面进行print并且框架 阅读全文
posted @ 2021-11-24 15:03 北风之神0509 阅读(80) 评论(0) 推荐(0) 编辑
摘要: pip install sync2asyncio python 快速万能同步转异步语法。 使任意同步库快速变asyncio异步语法的方式 ,simple_run_in_executor 这是一个异步对象Asyncio的Future了,可以被await和异步任务编排。 await simple_run 阅读全文
posted @ 2021-11-23 18:24 北风之神0509 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 0.项目目录说明,pythonpathdemo是这个项目的根目录,d1/d2/d3/m3.py 有一个fun3函数,d4/d5/run.py 里面导入和运行fun3函数,这种目录的python项目就很容易验证pythonpath作用了。 截图可以看出,pycahrm运行正确,cmd命令行却不行,vs 阅读全文
posted @ 2021-11-18 18:44 北风之神0509 阅读(44) 评论(0) 推荐(0) 编辑
摘要: return JSONObject.toJSONString(kafkaMsg, SerializerFeature.WriteMapNullValue); //需要这样才会显示出值为null的键值对,否则丢失键,下面的就不行 return kafkaMsg.toJSONString(); 阅读全文
posted @ 2021-11-16 17:36 北风之神0509 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 代码如下,先定义一个无限蒙蔽死循环消耗cpu的函数 f 在一台4核cpu的linux上,分别直接 单进程单线程跑f函数,4进程跑f函数,4线程跑f函数,2进程程跑f函数,3进程跑f函数,50进程跑f函数 from threading import Thread from multiprocessin 阅读全文
posted @ 2021-11-15 21:01 北风之神0509 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 一下代码使用官方进程池和线程池测试,运行10万次函数时间。 import time from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor # import nb_log def f(x): pass if x%10 阅读全文
posted @ 2021-11-01 10:49 北风之神0509 阅读(114) 评论(0) 推荐(1) 编辑
摘要: 服务端代码 test_socket_consumer.py,先启动服务端 from function_scheduling_distributed_framework import task_deco, BrokerEnum @task_deco('10.0.126.147:5691', broke 阅读全文
posted @ 2021-10-09 15:08 北风之神0509 阅读(42) 评论(0) 推荐(0) 编辑
摘要: pip install auto_run_on_remote 介绍见 https://pypi.org/project/auto-run-on-remote/ import time import sys from auto_run_on_remote import run_current_scri 阅读全文
posted @ 2021-09-10 18:18 北风之神0509 阅读(37) 评论(0) 推荐(0) 编辑
摘要: fabric2不行,那个put方法是上传一个文件,而非是一个文件夹。 现在使用paramiko来实现文件夹的上传。 import os import re import sys import time from nb_log import LoggerMixin import paramiko cl 阅读全文
posted @ 2021-09-08 17:11 北风之神0509 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 这个多进程切片安全的python按时间切割文件。官方的 TimedRotatingFileHandler 在多进程下疯狂报错,不信的话可以试试官方 TimedRotatingFileHandler 多进程写入文件日志,设置成每秒换一个新的文件写(主要是按天来切割要耽误很长的时间才能观察错误)此日志h 阅读全文
posted @ 2021-08-19 19:35 北风之神0509 阅读(192) 评论(2) 推荐(0) 编辑
摘要: 网上一般人都回答不好,回答的是结果不是原因都是人云亦云的,没有精确到本质原因。 这就和中医不求甚解只能卖弄玄学一样,只有西医能力精确到本质分子结构才能让人信服,所以大家初中就要学现代生物课,为什么不学老祖宗的本草纲目? 为什么不能用那个自带的runserver部署,也必须要精确原因呢才行。 先看看网 阅读全文
posted @ 2021-06-12 15:08 北风之神0509 阅读(149) 评论(1) 推荐(1) 编辑
摘要: 首先是放代码,主要是接续上一篇,用真实力来解释上一篇的测试对比结论。 import pysnooper_click_able import requests import urllib3 """ requests https 实际消耗55178行 requests http 实际消耗25344行 u 阅读全文
posted @ 2021-04-14 16:22 北风之神0509 阅读(123) 评论(0) 推荐(1) 编辑
摘要: 此文三个目的,不能光意淫概念误入歧途,有的人以为得概念一套一套的,其实并不是想的那样,实践对比才能出真知,要尊重实践。 此文使用各种网络请求库和各种并发模式和各种大小的线程池来测试请求50000次一个内容源码很小的百度静态页面,分别测试http和https https://www.baidu.com 阅读全文
posted @ 2021-04-13 21:13 北风之神0509 阅读(598) 评论(1) 推荐(0) 编辑
摘要: 这开这个网址, https://github.com.ipaddress.com/www.github.com ,把网页红箭头这里的ip添加到 C:\Windows\System32\drivers\etc\hosts 文件中。 没有权限直接修改hosts文件,把此文件复制到桌面上,然后修改桌面上的 阅读全文
posted @ 2021-04-10 18:36 北风之神0509 阅读(413) 评论(0) 推荐(0) 编辑
摘要: asyncio.run_coroutine_threadsafe 和 run_in_executor 是一对反义词。asyncio.run_coroutine_threadsafe 是在非异步的上下文环境(也就是正常的同步语法的函数里面)下调用异步函数对象(协程),因为当前函数定义没有被async修 阅读全文
posted @ 2020-12-31 14:19 北风之神0509 阅读(1128) 评论(0) 推荐(0) 编辑
摘要: from functools import partial import asyncio from threadpool_executor_shrink_able import ThreadPoolExecutorShrinkAble # 没有使用内置的 concurrent.futures里面的, 阅读全文
posted @ 2020-12-30 10:22 北风之神0509 阅读(1522) 评论(2) 推荐(1) 编辑
摘要: 如图把Library/bin添加到Path,并且放在第一个。再安装就嫩正确。 阅读全文
posted @ 2020-08-27 20:24 北风之神0509 阅读(3037) 评论(0) 推荐(0) 编辑
摘要: 最近瞥了一眼项目的重启脚本,发现运维一直在使用 kill-9<pid> 的方式重启 springboot embedded tomcat,其实大家几乎一致认为:kill-9<pid> 的方式比较暴力,但究竟会带来什么问题却很少有人能分析出个头绪。这篇文章主要记录下自己的思考过程。 kill -9 和 阅读全文
posted @ 2020-08-17 11:52 北风之神0509 阅读(547) 评论(0) 推荐(0) 编辑