摘要: 本文面向的读者是从事数据分析、数据处理(ETL)等相关工作的朋友们,相信大家在工作中一定遇到过数据倾斜的问题,读完本文,你会了解到数据倾斜的定义及其危害、产生的原因及应对措施、常见倾斜场景及解决办法等知识,相信对你今后处理数据倾斜问题会有一定的帮助。 目前流行的大数据相关的计算框架之所以能够处理大量 阅读全文
posted @ 2022-02-16 15:25 Wolf_Stark 阅读(385) 评论(0) 推荐(0)
摘要: 在MQ之前,我一直使用的redis作为中间人broker然后用celery执行耗时任务。从未在python项目中使用过MQ。所以今天就在django中用RabbitMQ取代redis+celery。 django中使用RabbitMQ: 本次使用RabbitMQ完成点击注册后给用户发送激活邮件的场景 阅读全文
posted @ 2022-02-16 11:35 Wolf_Stark 阅读(1172) 评论(0) 推荐(0)
摘要: gitlab_runner安装 sudo docker run -d --name gitlab-runner --restart always \ -v /home/gitlab-runner/config:/etc/gitlab-runner \ -v /var/run/docker.sock: 阅读全文
posted @ 2022-02-08 18:10 Wolf_Stark 阅读(184) 评论(0) 推荐(0)
摘要: https://www.cnblogs.com/mpyidudu/p/15689594.html 默认配置 #全局块,主要设置Nginx服务器整体运行的配置指令 worker_processes 1; #events块,主要设置,Nginx服务器与用户的网络连接,这一部分对 Nginx服务器的性能影 阅读全文
posted @ 2022-02-07 11:34 Wolf_Stark 阅读(50) 评论(0) 推荐(0)
摘要: Linux查看日志的命令有多种: tail、cat、tac、head、echo等,本文只介绍几种常用的方法。 1、tail 这个是我最常用的一种查看方式 命令格式: tail[必要参数][选择参数][文件] -f 循环读取 -q 不显示处理信息 -v 显示详细的处理信息 -c<数目> 显示的字节数 阅读全文
posted @ 2022-01-27 15:50 Wolf_Stark 阅读(651) 评论(0) 推荐(0)
摘要: 在深入到模块进行分析之前,首先来看看Tornado的设计模型 一、Tornado框架设计模型 从上面的图可以看出,Tornado 不仅仅是一个WEB框架,它还完整地实现了HTTP服务器和客户端,在此基础上提供WEB服务。它可以分为四层: 1、最底层的EVENT层处理IO事件;2、TCP层实现了TCP 阅读全文
posted @ 2022-01-27 10:22 Wolf_Stark 阅读(209) 评论(0) 推荐(0)
摘要: 我们在面对生物数据,比如序列信息(比如碱基序列、氨基酸序列等)的时候, 会时常要问,这其中是否包含着且含有多少某种已知的模式,一段DNA中是否包含转录起始特征TATA box、一段RNA中是否包含某种lncRNA、一段肽链中是否包含锌指结构等等;另一方面,我们在操作数据时,会时常遇到诸如把某个字符( 阅读全文
posted @ 2022-01-19 10:28 Wolf_Stark 阅读(514) 评论(0) 推荐(0)
摘要: https://www.cnblogs.com/xiao-apple36/p/12912595.html 阅读目录 COS 创建存储桶 查看SDK文档 使用示例 python端使用 回到顶部 COS 对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存 阅读全文
posted @ 2022-01-18 17:50 Wolf_Stark 阅读(1029) 评论(0) 推荐(0)
摘要: MySQL5的日期类型有三种:DATETIME、DATE和TIMESTAMP,除了DATE用来表示一个不带时分秒的是日期,另外两个都带时分秒。TIMESTAMP还可以精确到毫秒。 一、格式与区别 重点一: 1、DATE 是 年月日YYYY-MM-DD, 2、DATETIME 是 年月日时分秒YYYY 阅读全文
posted @ 2022-01-18 11:20 Wolf_Stark 阅读(3210) 评论(0) 推荐(1)
摘要: 清除全部images 很多时候docker会残留很多垃圾镜像,用简单的docker ps是看不到的,得用docker ps -a才能看到,那些事已经dead的container,得用rm命令才能清除。但是如果很多的话,一个个的清除真的好恶心。 root@HSH1000054456:~/rke# do 阅读全文
posted @ 2022-01-13 16:55 Wolf_Stark 阅读(244) 评论(0) 推荐(0)