摘要： 前言： 这里说的负载均衡并非大家熟悉的网络中的负载均衡。 只是这里我使用了和负载均衡同样的一种思维来优化程序罢了，其实就是压力分摊。 问题描述： 对于上一篇《分离生产者和消费者来优化爬虫程序》博客中遗留的问题：线程阻塞。 当我们的程序运行到一定时间之后，会出现线程池中的500... 阅读全文

摘要： 问题描述： 基于前面的一些工作（可点击这里参见笔者前面的相关博客），我们取得了一些成果。不过存在的问题又总是会让人坐立不安。本文通过分离生产者、消费者以及引入连接池技术来优化爬虫程序。解决前面说到的数据库连接数过大、程序长时间运行OOM的情况。 思路分析： 1.结构设计图： 2.思... 阅读全文

摘要： 前言 今天公司老大让我做一个MySQL的调研工作，是关于MySQL的存储结构的使用。这里我会通过3个例子来介绍一下MySQL中存储结构的使用过程，以及一些需要注意的点。笔者环境 系统：Windows 7 MySQL：MySQL 5.0.96准备工作1.新建两张数据表：student1, st... 阅读全文

摘要： 前言： 经过前面两篇文章，你想大家应该已经知道网络爬虫是怎么一回事了。这篇文章会在之前做过的事情上做一些改进，以及说明之前的做法的不足之处。 思路分析： 1.逻辑结构图 上图中展示的就是我们网络爬虫中的整个逻辑思路（调用Python解析URL，这里只作了简略的展示）。 2.... 阅读全文

摘要： 前言： 在上一篇《网络爬虫初步：从访问网页到数据解析》中，我们讨论了如何爬取网页，对爬取的网页进行解析，以及访问被拒绝的网站。在这一篇博客中，我们可以来了解一下拿到解析的数据可以做的事件。在这篇博客中，我主要是说明要做的两件事，一是入库，二是遍历拿到的链接继续访问。如此往复，这样就构成了一个... 阅读全文

摘要： 概述： 最近要学习写网络爬虫，所以把图的深度和广度搜索都再温习一下。 图结构展示： 实现过程： 首先，我们来看看图结构在代码中的实现。有三块逻辑： 1.图中的节点： public class GraphNode { public List edgeList = null;... 阅读全文

摘要： 前言： 网络爬虫这个东西看上去还是很神奇的。不过，如果你细想，或是有所研究就知道，其实爬虫并不那么高深。高深的是在我们的数据量很大的时候，就是当我们网络“图”的回环越来越多的时候，应该怎么去解决它。 本篇文章在这里只是起一个抛砖引玉的作用。本文主要是讲解了如何使用Java/Python访... 阅读全文

摘要： 概述： 最近要使用MySQL Workbench远程管理工具进行远程管理虚拟机上的MySQL。可是，在配置的过程中，遇到了一些问题，下面是这个问题(HOSt ip is not allowed to connect to this MySql server)的描述以及解决办法。 笔者环境... 阅读全文

摘要： 前言： 这里是我在使用Android Studio的过程中，遇到的一些问题，做一个记录，并持续更新。 笔者环境： 系统：Windows 7 IDE：Android Studio v1.0 记录： 1.导入.aar文件包 例如我要导入的是cardview-v7-21.0.0.... 阅读全文

摘要： 前言： 第一眼就爱上了Android的Material Design风格。以前倒对Android的界面风格不那么喜欢，扁平化的界面设计真是好看。 其实，这个嵌套操作在实现上并没有什么难点。可是，我还在Eclipse上没有试验成功。后来换到Android Studio上就OK了。以下是实现... 阅读全文