2018年9月6日

[原创]Sharding-Sphere之Proxy初探

摘要:Sharding-Proxy是Sharding-Sphere的第二个产品。它定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。目前先提供MySQL版本,它可以使用任何兼容MySQL协议的访问客户端(如:MySQL Command Client, MySQL Workbench等)操作数据,对DBA更加友好。 阅读全文

posted @ 2018-09-06 08:16 tuohai666 阅读 (786) 评论 (0) 编辑

2018年4月27日

[原创]手把手教你写网络爬虫(9):待续...

摘要: 阅读全文

posted @ 2018-04-27 09:19 tuohai666 阅读 (914) 评论 (3) 编辑

[原创]手把手教你写网络爬虫(8):彻底解决乱码问题

摘要:手把手教你写网络爬虫(8) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 字符编解码是爬虫里必学的一项知识,在我们的爬虫生涯中早晚会爬到乱码的网页,与其遇到时惊慌失措,不如早学早好,彻底避免乱码问题。 字符编码简介 什么是 阅读全文

posted @ 2018-04-27 08:48 tuohai666 阅读 (2705) 评论 (2) 编辑

2018年4月26日

[原创]手把手教你写网络爬虫(7):URL去重

摘要:手把手教你写网络爬虫(7) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 本期我们来聊聊URL去重那些事儿。以前我们曾使用Python的字典来保存抓取过的URL,目的是将重复抓取的URL去除,避免多次抓取同一网页。爬虫会将 阅读全文

posted @ 2018-04-26 08:51 tuohai666 阅读 (2981) 评论 (8) 编辑

2018年4月25日

[原创]手把手教你写网络爬虫(6):分布式爬虫

摘要:手把手教你写网络爬虫(6) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 下面是一个超级计算机的排行榜,如果我们能拥有其中任意一个,那么我们就不需要搞什么分布式系统。可是我们买不起,即使买得起,也交不起电费,所以我们只好费 阅读全文

posted @ 2018-04-25 08:28 tuohai666 阅读 (4377) 评论 (8) 编辑

2018年4月21日

[原创]手把手教你写网络爬虫(5):PhantomJS实战

摘要:手把手教你写网络爬虫(5) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 大家好!从今天开始,我要与大家一起打造一个属于我们自己的分布式爬虫平台,同时也会对涉及到的技术进行详细介绍。大家如果有什么好的想法请多留言,多提意见 阅读全文

posted @ 2018-04-21 15:01 tuohai666 阅读 (3108) 评论 (5) 编辑

2018年4月19日

[原创]手把手教你写网络爬虫(4):Scrapy入门

摘要:手把手教你写网络爬虫(4) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 上期我们理性的分析了为什么要学习Scrapy,理由只有一个,那就是免费,一分钱都不用花! 咦?怎么有人扔西红柿?好吧,我承认电视看多了。不过今天是没 阅读全文

posted @ 2018-04-19 08:46 tuohai666 阅读 (3094) 评论 (5) 编辑

2018年4月17日

[原创]MySQL协议学习(1):准备工作

摘要:MySQL Client/Server协议 准确的说应该是MySQL Client/Server协议,另一个叫X Protocol的暂不涉及。地址如下:MySQL Client/Server Protocol 字节序 一般协议里说的字节序是指网络字节序,网络字节序是big endian。而MySQL 阅读全文

posted @ 2018-04-17 09:34 tuohai666 阅读 (432) 评论 (0) 编辑

[原创]手把手教你写网络爬虫(3):开源爬虫框架对比

摘要:手把手教你写网络爬虫(3) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问, 阅读全文

posted @ 2018-04-17 08:17 tuohai666 阅读 (3427) 评论 (1) 编辑

2018年4月16日

[原创]手把手教你写网络爬虫(2):迷你爬虫架构

摘要:手把手教你写网络爬虫(2) 作者:拓海 (https://github.com/tuohai666) 摘要:从零开始写爬虫,初学者的速成指南! 封面: 介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛、糙、快,方便初学者上手,建立信心。对 阅读全文

posted @ 2018-04-16 08:30 tuohai666 阅读 (4029) 评论 (8) 编辑

导航