WalkersChao

大型网站架构技术一览

摘要：大型网站的挑战主要来自庞大的用户，高并发的访问和海量数据，任何简单的业务一旦需要处理数以P计的数据和面对数以亿计的用户，问题就会变得棘手。大型网站架构主要就是解决这类问题。网站系统架构层次如下图所示： 1.前端架构前端指用户请求到达网站应用服务器之前经历的环节，通常不包含网站业务逻辑，不处理动态阅读全文

posted @ 2019-07-28 09:04 WalkersChao 阅读(173) 评论(0) 推荐(0)

理解事务（ACID）——原子性、一致性、隔离性和持久性

摘要：事务是指对系统进行的一组操作，为了保证系统的完整性，事务需要具有ACID特性，具体如下：1. 原子性（Atomic）一个事务包含多个操作，这些操作要么全部执行，要么全都不执行。实现事务的原子性，要支持回滚操作，在某个操作失败后，回滚到事务执行之前的状态。回滚实际上是一个比较高层抽象的概念，大多数阅读全文

posted @ 2019-07-15 19:47 WalkersChao 阅读(5035) 评论(2) 推荐(1)

Python PEP-8编码风格指南中文版

摘要： Python PEP-8 编码风格开发介绍(Introduction) 这篇文档说明了Python主要发行版中标准库代码所遵守的规范。对于Python的C语言实现中的编码规范，请参考实现Python的C代码风格指南PEP 7。这篇文档和PEP 257(Docstring约定)都改编自Guido 阅读全文

posted @ 2019-07-15 13:57 WalkersChao 阅读(223) 评论(0) 推荐(0)

国内外电商平台反爬虫机制

摘要：电商平台的核心引擎大致分为两块，搜索架构和产品布局，应该说各有各的特色。当然今天的主题是反爬虫机制，电商平台如何能保护好自己的数据，又不影响正常用户体验，所谓当今业界一场持久的攻防博弈。一阶爬虫（技术篇）应用场景一：静态结果页，无频率限制，无黑名单。攻：直接采用scrapy爬取防：nginx 阅读全文

posted @ 2019-07-14 15:50 WalkersChao 阅读(3298) 评论(0) 推荐(1)

上大学以来收藏的网站整理

摘要：阅读：（知乎）https://www.zhihu.com/ 国内质量高的问答网站，牛人多，回答精彩，慢慢发现（Quora）https://www.quora.com/ 英语好的看这个，世界各国的人有，这才是认识更大的世界，知乎和它比起来只能算作一个小池塘（豆瓣网）https://www.dou 阅读全文

posted @ 2017-06-23 21:33 WalkersChao 阅读(439) 评论(0) 推荐(0)

互联网时代：程序员如何做一名自由职业者

摘要：有时站在拥挤的地铁、堵在早高峰的环路上，就会有这样的梦想：要成为一名自由工作者，或者远程工作，能在家上班该多好啊。其实，成为一名自由工作者，在家里工作并非奢望。对于互联网行业来说，你可以是自己创业，也可以是通过接项目，远程工作来实现自由职业。今天给大家介绍一下，如何通过远程工作的方式，成为一名自由阅读全文

posted @ 2017-05-27 18:11 WalkersChao 阅读(853) 评论(0) 推荐(0)

互联网行业各类职业总结

摘要：作为计算机专业的大学生了解互联网各类行业职位是必不可少的哟！具体分为以下几类: 1.产品2.UI3.CSS4.JS5.后端（Java/php/python）6.DBA(mysql/oracle)7.运维（OP） 8.测试（QA）9.算法（分类/聚类/关系抽取/实体识别）10.搜索（Lucene/S 阅读全文

posted @ 2017-05-09 20:39 WalkersChao 阅读(1194) 评论(0) 推荐(0)

GitHub 上值得学习的 Python 项目（框架）

摘要： Github是程序员们的宝库，很多的程序员开发者都会从Python上找各种各样的开源项目来学习。对于初学者来说，Github也是一个适合初学者来学习的地方。 Python在现阶段的几种主要的应用方向是以下几个方向： web开发数据科学深度学习网络爬虫那么我就从这几个方向，为大家介绍一些Git 阅读全文

posted @ 2017-05-01 20:03 WalkersChao 阅读(895) 评论(0) 推荐(0)

程序员最常见错误集锦

摘要：作为程序猿的我们经常容易犯各种错误，把这些错误改正了，就离高级码农们不远了。总结一下初级程序员经常犯的错误： 1 命名不规范 2 日志不规范 3 拒绝写接口和假数据 4 不写单元测试 5 盲目集成 6 逻辑不清 7 不做方案 8 不关注性能 9 害怕重构 10 做出来就好，不考虑优雅的方案 11 阅读全文

posted @ 2017-04-13 12:39 WalkersChao 阅读(809) 评论(0) 推荐(0)

那些你不知道的爬虫和反爬虫套路

摘要：前言爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行阅读全文

posted @ 2017-03-27 18:22 WalkersChao 阅读(705) 评论(0) 推荐(0)