摘要： 
一文带你快速理解xshell隧道转发功能，以及使用场景。 阅读全文
一文带你快速理解xshell隧道转发功能，以及使用场景。 阅读全文
posted @ 2024-01-21 15:13
钢铁侠的知识库
阅读(726)
评论(2)
推荐(1)
摘要： 
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？ 只需要以下几步： 在file->settings中搜索temp，找到file and code templates->pyt 阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？ 只需要以下几步： 在file->settings中搜索temp，找到file and code templates->pyt 阅读全文
posted @ 2023-02-03 18:11
钢铁侠的知识库
阅读(280)
评论(0)
推荐(0)
摘要： 
Linux中，xz拥有压缩效率高的特性，一个对日志或文本高压缩率的工具，xz无疑是最佳的选择。 阅读全文
Linux中，xz拥有压缩效率高的特性，一个对日志或文本高压缩率的工具，xz无疑是最佳的选择。 阅读全文
posted @ 2023-01-29 19:27
钢铁侠的知识库
阅读(1411)
评论(0)
推荐(0)
摘要： 
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任 阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任 阅读全文
posted @ 2022-09-09 11:43
钢铁侠的知识库
阅读(982)
评论(0)
推荐(1)
摘要： 
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 上一章我们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理 阅读全文
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 上一章我们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理 阅读全文
posted @ 2022-08-22 17:53
钢铁侠的知识库
阅读(827)
评论(0)
推荐(0)
摘要： 
Python爬虫之xpath语法及案例使用 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的Xpath表达式。 Xpath是什么 XPath，全称 XML Path La 阅读全文
Python爬虫之xpath语法及案例使用 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的Xpath表达式。 Xpath是什么 XPath，全称 XML Path La 阅读全文
posted @ 2022-08-15 22:09
钢铁侠的知识库
阅读(1536)
评论(0)
推荐(0)
摘要： 
Fiddler5+雷电模拟器4对app抓包设置，弃用原来的老旧雷电3版本，保姆级教程小学生看了都说好。 阅读全文
Fiddler5+雷电模拟器4对app抓包设置，弃用原来的老旧雷电3版本，保姆级教程小学生看了都说好。 阅读全文
posted @ 2022-07-19 02:11
钢铁侠的知识库
阅读(1780)
评论(0)
推荐(0)
摘要： 
工作中需要通过CPU、内存生成资源利用率报表，可以通过Prometheus的API写一个Python脚本。API获取数据，然后再进行数据排序、过滤、运算、聚合，最后写入Mysql数据库。 阅读全文
工作中需要通过CPU、内存生成资源利用率报表，可以通过Prometheus的API写一个Python脚本。API获取数据，然后再进行数据排序、过滤、运算、聚合，最后写入Mysql数据库。 阅读全文
posted @ 2021-12-29 18:06
钢铁侠的知识库
阅读(4245)
评论(0)
推荐(0)
摘要： 
IDM是什么 其实我使用IDM下载器只是为了方便网页版百度网盘直接下载大于40M文件而已，大家知道文件过大必须打开客户端才能下载，这点对于我的破电脑感觉很烦躁，每次要等待它慢悠悠打开，然后动用我的超级VIP下载一个百兆不到的小文件，所以网上找了个工具可以直接使用插件下载，省去大材小用的启动客户端。 阅读全文
IDM是什么 其实我使用IDM下载器只是为了方便网页版百度网盘直接下载大于40M文件而已，大家知道文件过大必须打开客户端才能下载，这点对于我的破电脑感觉很烦躁，每次要等待它慢悠悠打开，然后动用我的超级VIP下载一个百兆不到的小文件，所以网上找了个工具可以直接使用插件下载，省去大材小用的启动客户端。 阅读全文
posted @ 2021-11-05 17:44
钢铁侠的知识库
阅读(22309)
评论(2)
推荐(1)
摘要： 
aws ec2流量监控 亚马逊云服务新用户绑定信用卡免费使用一年，相信很多人白嫖过，选用micro最低配置+流量免费15G，包含上下行。这种配置用来测试玩玩还行，生产使用的话容易超标。很多人想知道流量使用情况但不知道哪里设置，AWS是没有直接查看方式的，需要做一些简单设置，下面开始详细介绍。 如何配 阅读全文
aws ec2流量监控 亚马逊云服务新用户绑定信用卡免费使用一年，相信很多人白嫖过，选用micro最低配置+流量免费15G，包含上下行。这种配置用来测试玩玩还行，生产使用的话容易超标。很多人想知道流量使用情况但不知道哪里设置，AWS是没有直接查看方式的，需要做一些简单设置，下面开始详细介绍。 如何配 阅读全文
posted @ 2021-08-24 14:53
钢铁侠的知识库
阅读(1985)
评论(0)
推荐(0)
摘要： 
背景介绍 最近工作涉及几台新服务器的日志需要接入ELK系统，配置思路如下： 使用Filebeat收集本地日志数据，Filebeat监视日志目录或特定的日志文件，再发送到消息队列到kafka，然后logstash去获取消费，利用filter功能过滤分析，最终存储到elasticsearch中。 fil 阅读全文
背景介绍 最近工作涉及几台新服务器的日志需要接入ELK系统，配置思路如下： 使用Filebeat收集本地日志数据，Filebeat监视日志目录或特定的日志文件，再发送到消息队列到kafka，然后logstash去获取消费，利用filter功能过滤分析，最终存储到elasticsearch中。 fil 阅读全文
posted @ 2021-08-20 17:59
钢铁侠的知识库
阅读(593)
评论(0)
推荐(0)
摘要： 
我们写博客的时候经常会需要配图，特别是markdown写的时候只能通过网络链接来展示图片。 首先来说存储仓库。测试过几款存储图片的仓库，最终选择方案3： 1、阿里OSS需要付费，空间和流量双向收费，对于流量大的用户会有一点小压力。 2、GitHub有免费空间，但访问速度太慢，甚至无法访问，一切看运气 阅读全文
我们写博客的时候经常会需要配图，特别是markdown写的时候只能通过网络链接来展示图片。 首先来说存储仓库。测试过几款存储图片的仓库，最终选择方案3： 1、阿里OSS需要付费，空间和流量双向收费，对于流量大的用户会有一点小压力。 2、GitHub有免费空间，但访问速度太慢，甚至无法访问，一切看运气 阅读全文
posted @ 2021-08-16 14:14
钢铁侠的知识库
阅读(979)
评论(4)
推荐(2)
摘要：
pyinstaller可以将python写好的脚本打包成exe文件，方便windows用户在没有python环境下运行。这个程序完全跨平台，包括Windows、Linux、Mac OS X等多个操作系统下运行。因为我用的是win7，以下直接使用windows打包讲解，不同平台上使用 PyInstal 阅读全文
posted @ 2021-08-07 19:55
钢铁侠的知识库
阅读(446)
评论(0)
推荐(0)
摘要：
ansible在日常运维中经常使用，特别是批量执行多台服务器的时候，有效减小重复的操作成本，以下从安装到使用仅讲解工作中常用的几种方式，模块很多功能很强大，但不做全面讨论。 ansible安装 在centos服务器中安装ansible很简单，只需两条命令： yum install epel-rele 阅读全文
posted @ 2021-08-06 10:32
钢铁侠的知识库
阅读(88)
评论(0)
推荐(0)
摘要：
上一篇我们聊到python 字典和列表嵌套用法，这次我们聊聊字典和列表嵌套中的排序问题，这个在python基础中不会提到，但实际经常运用，面试中也喜欢问，我们娓娓道来。 在说组合排序之前，先来看看排序有哪些函数。 排序函数 使用排序有两个可用方法，分别是sort()和sorted()。 sort() 阅读全文
posted @ 2021-07-22 18:07
钢铁侠的知识库
阅读(1046)
评论(0)
推荐(0)
摘要：
python中字典和列表的使用，在数据处理中应该是最常用的，这两个熟练后基本可以应付大部分场景了。不过网上的基础教程只告诉你列表、字典是什么，如何使用，很少做组合说明。 刚好工作中采集prometheus监控接口并做数据处理的时候，用了很多组合场景，列出几个做一些分享。 列表(List) 序列是Py 阅读全文
posted @ 2021-06-28 18:42
钢铁侠的知识库
阅读(19417)
评论(0)
推荐(1)
摘要：
什么是异常 python异常捕获，在刚开始学的时候，经常会遇到两种报错信息：语法错误和执行的异常。 语法错误在执行的时候就会报错，同时控制端会告诉你错误所在的行； 但即便python程序语法是正确的，在运行它的时候，也有可能发生错误。比如请求的接口返回空，没有做判断直接拿这个变量进行下一步逻辑处理， 阅读全文
posted @ 2021-02-08 18:27
钢铁侠的知识库
阅读(661)
评论(0)
推荐(0)
摘要：
迭代器和生成器的区别是什么？这个问题面试的时候经常作为灵魂拷问。今天一起从概念到代码梳理一遍，作为总结和记录。 区别是： 生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大数据量处理，将会非常有用。 基础概念 迭代：当创建的对象可以被一个接一个读取里面的值，叫迭代 阅读全文
posted @ 2020-11-27 11:55
钢铁侠的知识库
阅读(2909)
评论(0)
推荐(1)
摘要：
原因 阿里云ECS云盘扩容后，在Linux服务器上没有生效 实际需要几条命令扩容才能正式生效。 处理方法 先看扩容前磁盘空间，/dev/vda1可以看到只有40G。 # df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs d 阅读全文
posted @ 2020-10-24 13:47
钢铁侠的知识库
阅读(2241)
评论(0)
推荐(0)
摘要：
日常开发中，一般都会涉及到数据库增删改查，那么不可避免会遇到Mysql中的NULL和空字符。 空字符（''）和空值（null）表面上看都是空，其实存在一些差异： 定义： 空值(NULL)的长度是NULL，不确定占用了多少存储空间，但是占用存储空间的 空字符串('')的长度是0，是不占用空间的 通俗的 阅读全文
posted @ 2020-09-30 01:43
钢铁侠的知识库
阅读(5995)
评论(0)
推荐(0)
摘要：
centos yum报错 File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: 报错： 报错一： File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: 报错二： File "/ 阅读全文
posted @ 2020-09-28 23:16
钢铁侠的知识库
阅读(453)
评论(0)
推荐(1)
摘要：
第03章-博弈，也是有价格的 博弈论不是权谋学，不能教大家怎样损人利己。而是在假定人性自私的前提下，思考如何制约与引导人们的行为。 011：囚徒困境：当个人利益与集体利益发生冲突时，足够理性的人会优先追求个人利益。 在一个群体中，个人做出理性选择却往往导致集体的非理性。 背叛，也是有价格的，而聪明人 阅读全文
posted @ 2020-09-27 01:25
钢铁侠的知识库
阅读(185)
评论(0)
推荐(0)
摘要：
服务器端口测试是否正常，运维一般使用telnet来检查，但它有局限性，服务器的端口必须存在服务运行。 这时使用nc可以在服务端模拟开启一个端口，再通过nc测试此端口，好用！ nc是netcat工具的简称，一个网络工具，可以用来端口扫描、文件传输等功能。 centos上面安装也很简单： yum ins 阅读全文
posted @ 2020-09-26 01:05
钢铁侠的知识库
阅读(3543)
评论(0)
推荐(0)
摘要：
为什么要懂 子网掩码计算，及子网划分属于网络基础知识。一般在几个地方会用到： 公司避免产生网络风暴而划分子网，帮助路由器判断对应主机是否在同一个网段中 服务器相互隔离而划分子网，一般机房管理人员规划； 安全组IP限制，如阿里云、防火墙出入规则； 软考、面试也常考... 概念理解 子网掩码的分类 缺省 阅读全文
posted @ 2020-09-24 00:57
钢铁侠的知识库
阅读(3331)
评论(0)
推荐(0)
摘要：
第02章-价格，是你想定就定的吗？ 006：供需定理：供需关系决定价格。 经济学告诉我们，产品有价，不是因为制造产品有成本，而是因为市场对产品有需求。 产品能卖出什么价，是由市场上供给对于需求的相对稀缺性来决定的。 供不应求，价格上涨，供过于求，价格下跌。 在商业中给定价进行正确的归因，我们可以学会 阅读全文
posted @ 2020-09-21 23:53
钢铁侠的知识库
阅读(137)
评论(0)
推荐(0)
摘要：
redis是什么 Redis是一种基于内存的数据结构存储，可持久化的日志型、Key-Value数据库。使用关系型数据库的站点达到一定并发量的时候，往往在磁盘IO上会有瓶颈，这时候配合redis就有一定的优势，因为它具有以下几个特性： 基于内存运行，高并发读写； 支持分布式，理论上可以无限扩展； 丰富 阅读全文
posted @ 2020-09-20 18:28
钢铁侠的知识库
阅读(406)
评论(0)
推荐(0)
摘要：
elastic索引日志清理不及时，很容易产生磁盘紧张，官网给出curl -k -XDELETE可以清理不需要的索引日志。 清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 阅读全文
posted @ 2020-09-19 00:10
钢铁侠的知识库
阅读(430)
评论(0)
推荐(0)
摘要：
身为技术人员，都知道Git是干嘛的。从服务端角度它是代码仓库，可以多人协作、版本控制、高效处理大型或小型项目所有内容；从客户端讲，它能够方便管理本地分支、且与服务端代码的同步，从拉取、合并、提交等等管理分支都靠它！ Git轻量、易于学习，如果不用搭建和维护代码仓库的话（运维职责），只要掌握几个git 阅读全文
posted @ 2020-09-14 12:18
钢铁侠的知识库
阅读(807)
评论(0)
推荐(3)
摘要：
第01章-成本，你真的算对过吗？ 001：机会成本：帮你做出更理性的选择。 为了得到某一样东西，通常不得不放弃另外一些东西。 在经济学里，这些不得不放弃的东西，就是我们当前选择所付出的机会成本。 有人这样描述机会成本：鱼与熊掌不可兼得。那么放弃掉的鱼，就是你选择熊掌的代价。 002：比较优势：分相对 阅读全文
posted @ 2020-09-13 01:54
钢铁侠的知识库
阅读(179)
评论(0)
推荐(0)
摘要：
安装windows版本mysql只是为本地代码调试，不建议用于生产。觉得步骤麻烦也可以直接下载集成环境（如xampp），一键安装即可用。之前本地测试都用一键安装，今天换个方法玩玩，安装步骤如下： mysql安装 直接下载归档压缩包即可，解压到你的目录，可不用下载.msi格式的： 下载地址：https 阅读全文
posted @ 2020-09-12 01:45
钢铁侠的知识库
阅读(367)
评论(0)
推荐(0)