博客园 - 即学即码+
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=60838
2022-04-06T15:20:05Z
即学即码+
https://www.cnblogs.com/apanly/
feed.cnblogs.com
https://www.cnblogs.com/apanly/p/16110195.html
【课程章节更新】猫影项目新爬虫源代码 - 即学即码+
起因 我在慕课有个flask 入门的课程:点击这里查看慕课课程。当时课程讲解的使用学习的视频网站已经不再提供服务了,为了方便大家学习这里重新找了一个视频源。这里郑重声明:该代码仅用于学习演示,请大家妥善使用,不要给源网站造成任何压力。 示例代码 新建一个python文件,文件名称是 movie2.p
2022-04-06T15:20:00Z
2022-04-06T15:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】起因 我在慕课有个flask 入门的课程:点击这里查看慕课课程。当时课程讲解的使用学习的视频网站已经不再提供服务了,为了方便大家学习这里重新找了一个视频源。这里郑重声明:该代码仅用于学习演示,请大家妥善使用,不要给源网站造成任何压力。 示例代码 新建一个python文件,文件名称是 movie2.p <a href="https://www.cnblogs.com/apanly/p/16110195.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15866428.html
生产环境网络安全升级过程 - 即学即码+
缘由 随着公司研发人员越来越多,为了安全控制要对服务器访问进行控制。为了让线上服务器更安全,所以要进行技术改造。如下图是以前的架构图图。技术人员主要通过SSH到堡垒机 在通过堡垒机去链接其他服务器或者数据。此时堡垒机是要暴露一个公网SSH端口在外面的,这样不太安全。所以想到了用VPN解决改变之后的架
2022-02-06T13:39:00Z
2022-02-06T13:39:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 随着公司研发人员越来越多,为了安全控制要对服务器访问进行控制。为了让线上服务器更安全,所以要进行技术改造。如下图是以前的架构图图。技术人员主要通过SSH到堡垒机 在通过堡垒机去链接其他服务器或者数据。此时堡垒机是要暴露一个公网SSH端口在外面的,这样不太安全。所以想到了用VPN解决改变之后的架 <a href="https://www.cnblogs.com/apanly/p/15866428.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15865180.html
ELK 之 GeoIP - 即学即码+
需求 我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面
2022-02-05T17:20:00Z
2022-02-05T17:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】需求 我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面 <a href="https://www.cnblogs.com/apanly/p/15865180.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15864509.html
ELK 之解析域名的TLD - 即学即码+
缘由 我们在大数据数据里面有一类数据是 域名,例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理,这个其实就是TLD(TOP LEVEL DOMAIN)顶级域名解析过程。 大家看过我们前面ELK相关文章的,都知道我们处理过程是 FileBeat ->
2022-02-05T09:40:00Z
2022-02-05T09:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 我们在大数据数据里面有一类数据是 域名,例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理,这个其实就是TLD(TOP LEVEL DOMAIN)顶级域名解析过程。 大家看过我们前面ELK相关文章的,都知道我们处理过程是 FileBeat -> <a href="https://www.cnblogs.com/apanly/p/15864509.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15858804.html
聊聊公司的技术栈 - 即学即码+
公司的技术栈 公司经历了1年的发展,慢慢也使用了很多技术服务。感觉创个业把上海学到的全部知识都搬出来了。我们主要技术栈如下 技术团队组成 公司技术团队主要由前端 + 后端组成。运维岗 和 App研发岗 都算在后端或者前端里面去了。目前招聘的大部分后端是写PHP的,但是如果会Python 或者Go 会
2022-01-31T20:00:00Z
2022-01-31T20:00:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】公司的技术栈 公司经历了1年的发展,慢慢也使用了很多技术服务。感觉创个业把上海学到的全部知识都搬出来了。我们主要技术栈如下 技术团队组成 公司技术团队主要由前端 + 后端组成。运维岗 和 App研发岗 都算在后端或者前端里面去了。目前招聘的大部分后端是写PHP的,但是如果会Python 或者Go 会 <a href="https://www.cnblogs.com/apanly/p/15858804.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15858780.html
【2021年度总结】创业摸索探索 - 即学即码+
两年的变化 从2019年开始离开正常上下班的工作以来已经两年半了,我们列个时间线来说说这些事情。 2019年6月 谈定去广州白云的事情2019年7月初 办完离职手续前往广州白云区进入项目中(在6月与7月之间电话远程面试,当时招聘了一个人,成立的公司叫做:广州威宇网络科技有限公司 已注销)2019年7
2022-01-31T17:40:00Z
2022-01-31T17:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】两年的变化 从2019年开始离开正常上下班的工作以来已经两年半了,我们列个时间线来说说这些事情。 2019年6月 谈定去广州白云的事情2019年7月初 办完离职手续前往广州白云区进入项目中(在6月与7月之间电话远程面试,当时招聘了一个人,成立的公司叫做:广州威宇网络科技有限公司 已注销)2019年7 <a href="https://www.cnblogs.com/apanly/p/15858780.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15814575.html
大数据查询 ELK 之 ES集群搭建 - 即学即码+
缘由 前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务 集群搭建 目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点 其实配置ES集群是比较方便了,
2022-01-17T10:00:00Z
2022-01-17T10:00:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务 集群搭建 目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点 其实配置ES集群是比较方便了, <a href="https://www.cnblogs.com/apanly/p/15814575.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15814336.html
OpenVPN实现客户端分流 - 即学即码+
问题 由于公司使用了OpenVPN来保证网络的安全,但是发现每一次连接上VPN之后整个网络都变成服务器的出口IP了,这时候网络就非常慢了,并且这样也不对,应该需要走OpenVPN的再走。这时候就需要配置分流了。配置在服务端和客户端改一个都可以,由于改服务端影响比较大,所以那就改客户端的配置 客户端路
2022-01-17T09:20:00Z
2022-01-17T09:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】问题 由于公司使用了OpenVPN来保证网络的安全,但是发现每一次连接上VPN之后整个网络都变成服务器的出口IP了,这时候网络就非常慢了,并且这样也不对,应该需要走OpenVPN的再走。这时候就需要配置分流了。配置在服务端和客户端改一个都可以,由于改服务端影响比较大,所以那就改客户端的配置 客户端路 <a href="https://www.cnblogs.com/apanly/p/15814336.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15806029.html
Gitea - 企业搭建私有git服务器 - 即学即码+
缘由 git 目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求,因为代码也是公司的资产。这几年使用过好几个,最开始的是gitlab,我专门写过一篇文章:用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。
2022-01-14T18:00:00Z
2022-01-14T18:00:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 git 目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求,因为代码也是公司的资产。这几年使用过好几个,最开始的是gitlab,我专门写过一篇文章:用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。 <a href="https://www.cnblogs.com/apanly/p/15806029.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15801831.html
NFS - CentOS实现服务器之间共享文件 - 即学即码+
缘由 前面不是写过一个文章 局域网内网机器上网实操。基于这个情况,有时候需要某台机器的文件夹或者文件要被其他机器共享。假设服务器如下 技术方案 技术方案肯定比较多,例如可以直接 scp 复制服务器A的需要文件到 服务器B。还有一种方式可以共享挂载 :NFS NFS 网络文件系统,英文Network
2022-01-14T06:40:00Z
2022-01-14T06:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 前面不是写过一个文章 局域网内网机器上网实操。基于这个情况,有时候需要某台机器的文件夹或者文件要被其他机器共享。假设服务器如下 技术方案 技术方案肯定比较多,例如可以直接 scp 复制服务器A的需要文件到 服务器B。还有一种方式可以共享挂载 :NFS NFS 网络文件系统,英文Network <a href="https://www.cnblogs.com/apanly/p/15801831.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15647715.html
运维神器:asciinema 记录你所有的操作 - 即学即码+
缘由 最近看到了2个项目,促使我再次核查了以下这个软件是什么。这两个项目是 webterminal 和 jumpserver 。这两个项目里面都有一个功能 运维审计,用户行为录像。挺好奇这个录像怎么做的,就去找了下有咩有类似的开源软件。其实以前在上海安居客的时候我们运维也有这种软件,但是具体是不是叫
2021-12-05T15:40:00Z
2021-12-05T15:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 最近看到了2个项目,促使我再次核查了以下这个软件是什么。这两个项目是 webterminal 和 jumpserver 。这两个项目里面都有一个功能 运维审计,用户行为录像。挺好奇这个录像怎么做的,就去找了下有咩有类似的开源软件。其实以前在上海安居客的时候我们运维也有这种软件,但是具体是不是叫 <a href="https://www.cnblogs.com/apanly/p/15647715.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15395786.html
/lib64/libc.so.6 错误导致的系统崩溃 - 即学即码+
缘由 我们有个同事要安装一个软件,就用yum 安装,然后就悲剧。安装完成之后 发现无论执行任何命令都会报错,如下错误 吓尿了,遇到这种错误就懵逼了,以为系统坏了,这个坏了可不是重做系统就好了(这个服务器是在异地,真要出问题 都要飞过去了)。 此时最最重要一点是不要关闭当前窗口,不要重新启动机器! 一
2021-10-11T15:40:00Z
2021-10-11T15:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 我们有个同事要安装一个软件,就用yum 安装,然后就悲剧。安装完成之后 发现无论执行任何命令都会报错,如下错误 吓尿了,遇到这种错误就懵逼了,以为系统坏了,这个坏了可不是重做系统就好了(这个服务器是在异地,真要出问题 都要飞过去了)。 此时最最重要一点是不要关闭当前窗口,不要重新启动机器! 一 <a href="https://www.cnblogs.com/apanly/p/15395786.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15395721.html
php 间歇性报 Segmentation fault - 即学即码+
缘由 大概9月份有一个脚本总是无法正常执行完,后来手动执行总是会看到出现 “ Segmentation fault ” 错误。我就根据这个错误去搜索引擎查了下,大部分都说是内存错误,我以为是内存不够大,就修改了运行的内存。但是最后发现还是会出现这个错误。 排查错误 这种错误一般要生成core.dum
2021-10-11T15:20:00Z
2021-10-11T15:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 大概9月份有一个脚本总是无法正常执行完,后来手动执行总是会看到出现 “ Segmentation fault ” 错误。我就根据这个错误去搜索引擎查了下,大部分都说是内存错误,我以为是内存不够大,就修改了运行的内存。但是最后发现还是会出现这个错误。 排查错误 这种错误一般要生成core.dum <a href="https://www.cnblogs.com/apanly/p/15395721.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15336971.html
Dell服务器安装OMSA管理工具 - 即学即码+
缘由 最近购买了一批二手Dell服务器,由于一些原因远程控制卡没办法使用,所以只能安装OMSA管理工具 OMSA 介绍 DELL OMSA的全称为Dell Openmanage Server Administrator,它是戴尔公司基于自主研发力量开发的IT系统管理解决方案,通过与业内领先的系统管理
2021-09-26T02:40:00Z
2021-09-26T02:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 最近购买了一批二手Dell服务器,由于一些原因远程控制卡没办法使用,所以只能安装OMSA管理工具 OMSA 介绍 DELL OMSA的全称为Dell Openmanage Server Administrator,它是戴尔公司基于自主研发力量开发的IT系统管理解决方案,通过与业内领先的系统管理 <a href="https://www.cnblogs.com/apanly/p/15336971.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15309613.html
【Selenium学习笔记】网页截图实践 - 即学即码+
缘由 我们有一个产品牵扯到核查数据,在核查数据过程中会发现有一些违规网站,这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦,需要截图之后上传到系统,增加了大家的工作量,我们就想着试着程序自动化截图 解决方案 由于我们爬虫都使用的python selenium 调用的chrome无头浏览
2021-09-18T09:40:00Z
2021-09-18T09:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 我们有一个产品牵扯到核查数据,在核查数据过程中会发现有一些违规网站,这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦,需要截图之后上传到系统,增加了大家的工作量,我们就想着试着程序自动化截图 解决方案 由于我们爬虫都使用的python selenium 调用的chrome无头浏览 <a href="https://www.cnblogs.com/apanly/p/15309613.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/15309500.html
局域网内网机器上网实操 - 即学即码+
缘由 最近我们接到一个客户项目,客户所有的东西必须部署在独立内网里面的,但是整个程序有一部分是需要访问外网的,可以理解为调用外部网址接口,所以我们就要出一个方案来解决这个问题。假如内网服务器列表如下 技术难点 由于我个人对于网络这块连半吊子都算不上,所以只能说硬着头皮上 并且还要考虑安全问题。在做的
2021-09-18T09:20:00Z
2021-09-18T09:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 最近我们接到一个客户项目,客户所有的东西必须部署在独立内网里面的,但是整个程序有一部分是需要访问外网的,可以理解为调用外部网址接口,所以我们就要出一个方案来解决这个问题。假如内网服务器列表如下 技术难点 由于我个人对于网络这块连半吊子都算不上,所以只能说硬着头皮上 并且还要考虑安全问题。在做的 <a href="https://www.cnblogs.com/apanly/p/15309500.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/14802741.html
【解决方法】ModuleNotFoundError: No module named 'flask._compat' - 即学即码+
起源 最近发下很多人在我的python课程下面提问,关于安装完扩展运行程序的时候出现如下的莫名其妙的错误 出现原因 出现这个问题的原因主要还是flask扩展升级到2.0 删除了一些文件,导致有些问题 解决方法 主要思路就是安装低版本的就好了,所以解决方法是先卸载新的版本,在安装低版本的就好了
2021-05-23T16:40:00Z
2021-05-23T16:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】起源 最近发下很多人在我的python课程下面提问,关于安装完扩展运行程序的时候出现如下的莫名其妙的错误 出现原因 出现这个问题的原因主要还是flask扩展升级到2.0 删除了一些文件,导致有些问题 解决方法 主要思路就是安装低版本的就好了,所以解决方法是先卸载新的版本,在安装低版本的就好了 <a href="https://www.cnblogs.com/apanly/p/14802741.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/14736172.html
【课程章节更新】微信小程序 getUserProfile 新接口使用 - 即学即码+
起因 大家都知道我有个 Python Flask构建微信小程序订餐系统 课程。这个课程主要是讲解 小程序在线商城的。最近微信小程序更新了获取用户信息的接口:getUserInfo 换成了getUserProfile 实践过程 小程序修改 pages/index/index.wxml 修改如下 pag
2021-05-06T09:40:00Z
2021-05-06T09:40:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】起因 大家都知道我有个 Python Flask构建微信小程序订餐系统 课程。这个课程主要是讲解 小程序在线商城的。最近微信小程序更新了获取用户信息的接口:getUserInfo 换成了getUserProfile 实践过程 小程序修改 pages/index/index.wxml 修改如下 pag <a href="https://www.cnblogs.com/apanly/p/14736172.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/14698727.html
时间同步ntpdate报错的其他解决方案 - 即学即码+
缘由 最近我们一台高防服务器,在同步服务器时间时报 no server suitable for synchronization found,最后经查实是机房屏蔽了udp端口所致,因为ntpdate同步时间使用的是udp123端口。 rdate解决方案 既然ntp不行我们改用rdate 完全可以解决
2021-04-24T16:00:00Z
2021-04-24T16:00:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 最近我们一台高防服务器,在同步服务器时间时报 no server suitable for synchronization found,最后经查实是机房屏蔽了udp端口所致,因为ntpdate同步时间使用的是udp123端口。 rdate解决方案 既然ntp不行我们改用rdate 完全可以解决 <a href="https://www.cnblogs.com/apanly/p/14698727.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/apanly/p/14698604.html
【Selenium学习笔记】介绍和安装 - 即学即码+
缘由 目前由于工作需要,我们需要爬虫(本人严重申明:商业爬虫属于违规行为,请各位技术同事不要有意无意的做违规的事情)获取网页一些东西,但是大家都知道目前有很多网站都是用前后端分离的,使用curl请求是没办法获取到页面信息的,所以我们就基于目前我们相对擅长的技术点选择了 “Selenium”。刚好自己
2021-04-24T15:20:00Z
2021-04-24T15:20:00Z
即学即码+
https://www.cnblogs.com/apanly/
【摘要】缘由 目前由于工作需要,我们需要爬虫(本人严重申明:商业爬虫属于违规行为,请各位技术同事不要有意无意的做违规的事情)获取网页一些东西,但是大家都知道目前有很多网站都是用前后端分离的,使用curl请求是没办法获取到页面信息的,所以我们就基于目前我们相对擅长的技术点选择了 “Selenium”。刚好自己 <a href="https://www.cnblogs.com/apanly/p/14698604.html" target="_blank">阅读全文</a>