【课程章节更新】猫影项目新爬虫源代码

摘要: 起因 我在慕课有个flask 入门的课程:点击这里查看慕课课程。当时课程讲解的使用学习的视频网站已经不再提供服务了,为了方便大家学习这里重新找了一个视频源。这里郑重声明:该代码仅用于学习演示,请大家妥善使用,不要给源网站造成任何压力。 示例代码 新建一个python文件,文件名称是 movie2.p 阅读全文
posted @ 2022-04-06 23:20 即学即码+ 阅读(298) 评论(0) 推荐(0) 编辑

生产环境网络安全升级过程

摘要: 缘由 随着公司研发人员越来越多,为了安全控制要对服务器访问进行控制。为了让线上服务器更安全,所以要进行技术改造。如下图是以前的架构图图。技术人员主要通过SSH到堡垒机 在通过堡垒机去链接其他服务器或者数据。此时堡垒机是要暴露一个公网SSH端口在外面的,这样不太安全。所以想到了用VPN解决改变之后的架 阅读全文
posted @ 2022-02-06 21:39 即学即码+ 阅读(174) 评论(0) 推荐(0) 编辑

ELK 之 GeoIP

摘要: 需求 我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面 阅读全文
posted @ 2022-02-06 01:20 即学即码+ 阅读(277) 评论(0) 推荐(0) 编辑

ELK 之解析域名的TLD

摘要: 缘由 我们在大数据数据里面有一类数据是 域名,例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理,这个其实就是TLD(TOP LEVEL DOMAIN)顶级域名解析过程。 大家看过我们前面ELK相关文章的,都知道我们处理过程是 FileBeat -> 阅读全文
posted @ 2022-02-05 17:40 即学即码+ 阅读(215) 评论(0) 推荐(0) 编辑

聊聊公司的技术栈

摘要: 公司的技术栈 公司经历了1年的发展,慢慢也使用了很多技术服务。感觉创个业把上海学到的全部知识都搬出来了。我们主要技术栈如下 技术团队组成 公司技术团队主要由前端 + 后端组成。运维岗 和 App研发岗 都算在后端或者前端里面去了。目前招聘的大部分后端是写PHP的,但是如果会Python 或者Go 会 阅读全文
posted @ 2022-02-01 04:00 即学即码+ 阅读(943) 评论(0) 推荐(0) 编辑

【2021年度总结】创业摸索探索

摘要: 两年的变化 从2019年开始离开正常上下班的工作以来已经两年半了,我们列个时间线来说说这些事情。 2019年6月 谈定去广州白云的事情2019年7月初 办完离职手续前往广州白云区进入项目中(在6月与7月之间电话远程面试,当时招聘了一个人,成立的公司叫做:广州威宇网络科技有限公司 已注销)2019年7 阅读全文
posted @ 2022-02-01 01:40 即学即码+ 阅读(39) 评论(0) 推荐(0) 编辑

大数据查询 ELK 之 ES集群搭建

摘要: 缘由 前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务 集群搭建 目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点 其实配置ES集群是比较方便了, 阅读全文
posted @ 2022-01-17 18:00 即学即码+ 阅读(134) 评论(0) 推荐(0) 编辑

OpenVPN实现客户端分流

摘要: 问题 由于公司使用了OpenVPN来保证网络的安全,但是发现每一次连接上VPN之后整个网络都变成服务器的出口IP了,这时候网络就非常慢了,并且这样也不对,应该需要走OpenVPN的再走。这时候就需要配置分流了。配置在服务端和客户端改一个都可以,由于改服务端影响比较大,所以那就改客户端的配置 客户端路 阅读全文
posted @ 2022-01-17 17:20 即学即码+ 阅读(6) 评论(0) 推荐(0) 编辑

Gitea - 企业搭建私有git服务器

摘要: 缘由 git 目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求,因为代码也是公司的资产。这几年使用过好几个,最开始的是gitlab,我专门写过一篇文章:用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。 阅读全文
posted @ 2022-01-15 02:00 即学即码+ 阅读(1083) 评论(0) 推荐(0) 编辑

NFS - CentOS实现服务器之间共享文件

摘要: 缘由 前面不是写过一个文章 局域网内网机器上网实操。基于这个情况,有时候需要某台机器的文件夹或者文件要被其他机器共享。假设服务器如下 技术方案 技术方案肯定比较多,例如可以直接 scp 复制服务器A的需要文件到 服务器B。还有一种方式可以共享挂载 :NFS NFS 网络文件系统,英文Network 阅读全文
posted @ 2022-01-14 14:40 即学即码+ 阅读(288) 评论(0) 推荐(0) 编辑