摘要： 本文围绕以下几点进行阐述： 为什么使用 Redis 使用 Redis 有什么缺点 单线程的 Redis 为什么这么快 Redis 的数据类型，以及每种数据类型的使用场景 Redis 的过期策略以及内存淘汰机制 Redis 和数据库双写一致性问题 如何应对缓存穿透和缓存雪崩问题 如何解决 Redis  阅读全文

摘要： 简书日活用户至少几十万，因此抓取简书的用户，一方面做数据分析和挖掘，另一方面，看看有哪些it同行，挖掘一些高质量的文章。 本文先分析抓取数据，结合抓取策略和scrapy框架，一步一步教你带你做爬虫和挖掘分析。 先说抓取思路。本文思路是选择一个大V，大v就是关注用户较多，粉丝也多的用户作为爬虫抓取入口 阅读全文

摘要： 很多网站的登陆都有验证码一项，而极客的方案就是应用的非常普遍。更多的场景是反反爬虫的对抗中，极客验证码更是首选。 图片来看一下 点击后就出现上面的滑动图片的窗口。本文亲自尝试代码，来分享其中的坑。 本文是使用selenium自动化测试工具来驱动代码完成验证，因此要有谷歌的driver和谷歌浏览器。以 阅读全文

摘要： 为了破解图形验证码，AI需要大量的图片数据。为了简单获取大量的图形来喂给Ai模型训练，索性自己写一把。代码来一发。。 阅读全文

摘要： 本节详细说明一下深度学习环境配置，Ubuntu 16.04 + Nvidia GTX 1080 + Python 3.6 + CUDA 9.0 + cuDNN 7.1 + TensorFlow 1.6。 Python 3.6 首先安装 Python 3.6，这里使用 Anaconda 3 来安装，下 阅读全文

摘要： 本节我们来用 TensorFlow 来实现一个深度学习模型，用来实现验证码识别的过程，这里我们识别的验证码是图形验证码，首先我们会用标注好的数据来训练一个模型，然后再用模型来实现这个验证码的识别。 验证码 首先我们来看下验证码是怎样的，这里我们使用 Python 的 captcha 库来生成即可，这 阅读全文

摘要： 稍后更新。。 阅读全文

摘要： spark编译的坑并不多，最早编译时spark1.2的版本是2015年的事情了，现在spark迭代更新到2.3版本了，架构和功能变化可谓很多。于是今天重新编译下源码，记录下编译的过程。 本次编译过程是在win10版本，jdk版本为1.8，scala版本为2.11，maven版本为3.2. 1、首先g 阅读全文

摘要： 目标检测是深度学习的一个重要应用，就是在图片中要将里面的物体识别出来，并标出物体的位置，一般需要经过两个步骤：1、分类，识别物体是什么 2、定位，找出物体在哪里 除了对单个物体进行检测，还要能支持对多个物体进行检测，如下图所示： 这个问题并不是那么容易解决，由于物体的尺寸变化范围很大、摆放角度多变、 阅读全文

摘要： 2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet，也是同年提出的）和定位项目的第一名。VGGNet探索 阅读全文