Ant-Man

摘要： 1、正常GROUP汇总去重写法 SELECT COUNT(1) FROM( SELECT COUNT(1) FROM cookie_used_t WHERE clevel>=0 AND clevel<4 GROUP BY cuid)t; 2、正常DISTINCT 汇总去重写法 SELECT COUN 阅读全文

摘要： PC端清洗等级的接口有了新的进展！ 一步一个坑的踩过来： 第一坑PC端清洗研究了各个版本最终结论只能获取到uid。根据这一结论花费三天时间设计了第一版本的项目Demo，但是对于客户的需求存在很大的问题； 第二坑PC端清洗模拟浏览器的操作加载页面获取到等级。根据研究结果花费一周时间搭建架构设计了第二版 阅读全文

摘要： 1、背景 清洗表cookie_clean_t的数据分配清洗，清洗成功的结果记录在成功表cookie_short_succ_t中，间隔10分钟根据成功表cookie_short_succ_t的数据更新清洗表cookie_clean_t中数据状态为成功。清洗表数据量50多万条！ 2、实现方案 2.1、版 阅读全文

摘要： 推广项目上线3个多月的时间，期间行业竞争产生磕磕碰碰的业务变动和调整还算能维持运营的整体稳定开销，但我们的业务主要还是靠几个大客户在支撑。如果我们的服务不能提供的更好就很难在行业竞争中扎根，如果我们丢失了仅有的几个大客户形势将十分严峻，如果我们只凭借当前的一个业务线将步履蹒跚。我们也还算居安思危的团 阅读全文

摘要： 1、背景 类似网络爬虫从第三方接口获取数据包的时候，第三方平台接口会分析记录IP，根据IP判断异地登陆或者同一个IP请求此次过多会限制请求导致获取数据包异常。通过代理IP的方式当发现IP受限的时候换个IP继续请求接口获取数据包。 2、实现方案 2.1、注册芝麻代理（芝麻代理平台提供了大量可用的IP） 阅读全文

摘要： 1、背景 数据清洗就是将大量数据组装后调用第三方接口，根据返回结果分类存储成功数据和错误数据。平均每天对接的数据总共有3w左右需要清洗，有时候重复清洗所有数据达到100w以上。 2、设计方案 2.1、版本V1.0 2.1.1、待清洗数据存储在表cookie_clean_t（已经按照需求进行过第一步去 阅读全文

摘要： 序言： 经过三个大版本迭代，每个大版本包含多个小版本的优化迭代！ 背景： 每个订单分发成百上万个数据，可以多次分发，每个订单分发的数据不能重复，并且分发的数据要随机！ V1.0版本： 1、记录订单ID和分发数据ID； 2、给订单ID分发数据前首先查看分发了哪些数据ID，分发的数据ID不会重复分发； 阅读全文

摘要： 拨号服务器测：拨号服务器配置受限测试加载网页就超时，分析日志需要深入具体定位：1、单条数据加载页面都超时，20s网页没加载完就关闭了；2、Cannot run program "cmd": CreateProcess error=1455, 页面文件太小，无法完成操作 本地测试：清洗规则每次并发5条 阅读全文

摘要： % 匹配行的开始 - 显示搜索字符串必须在行的开始，但是在所选择的结果字符串中不包括任何行终止字符。$ 匹配行尾 - 显示搜索字符串必须在行尾，但是在所选择的结果字符串中不包括任何行终止字符。? 除了换行符以外匹配任何单个的字符* 除了换行符匹配任何数量的字符和数字+ 前一字符匹配一个或多个，但至少 阅读全文

摘要： SET@uuid=2018111007000000000; SELECT @uuid:=@uuid+1 uuid,created_time FROM test_t; 阅读全文