摘要: 网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 一、网络爬虫的基本结构及工作流程 一个通用的网络爬虫的框架如图所示: 网络爬虫的基本工作流程如下: 1.首先选取一部分精心挑选的种子U 阅读全文
posted @ 2016-10-21 23:54 bcombetter 阅读(18804) 评论(0) 推荐(0)
摘要: 原文链接 linux下默认是不产生core文件的,要用ulimit -c unlimited放开 概述 系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段。ulimit 是一种 阅读全文
posted @ 2016-10-21 23:47 bcombetter 阅读(410) 评论(0) 推荐(0)
摘要: 实际应用中可能有这样的场景:给定一个进程名称特征串,查找所有匹配该进程名称的进程的详细信息。 解决的办法是: (1) 先用pgrep [str] 命令进行模糊匹配,找到匹配该特征串的进程ID; (2) 其次根据进程ID显示指定的进程信息,ps --pid [pid]; (3) 因为查找出来的进程ID 阅读全文
posted @ 2016-10-21 23:43 bcombetter 阅读(21212) 评论(0) 推荐(1)
摘要: linux上进程有5种状态: 1. 运行(正在运行或在运行队列中等待) 2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号) 3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生) 4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放 阅读全文
posted @ 2016-10-21 23:42 bcombetter 阅读(15477) 评论(0) 推荐(0)
摘要: 环境描述:OS:CentOS6.5_X64MASTER:192.168.0.202BACKUP:192.168.0.203VIP:192.168.0.204 1、配置两台Mysql主主同步[root@master ~]# yum install mysql-server mysql -y [root 阅读全文
posted @ 2016-10-21 23:15 bcombetter 阅读(1102) 评论(0) 推荐(0)
摘要: MySQL 是一种关系数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL 软件采用了双授权政策(本词条“授权政策”),它分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都 阅读全文
posted @ 2016-10-21 23:13 bcombetter 阅读(1834) 评论(0) 推荐(1)
摘要: 最近在学bootstrap,在知乎上搜索bootstrap看到有人问bootstrap基础包体积较大,对性能影响会不会很大,看到两种方法来减少对性能的影响: 我还没有学过LESS和Sass,所以第一种方法我还不会,不过CDN这个概念我以前看“JavaScript DOM 编程艺术”这本书就接触过: 阅读全文
posted @ 2016-10-21 22:58 bcombetter 阅读(1546) 评论(0) 推荐(0)
摘要: 转载至:http://www.cnblogs.com/xdp-gacl/p/3498271.html 一 入门 一、Maven的基本概念 Maven(翻译为"专家","内行")是跨平台的项目管理工具。主要服务于基于Java平台的项目构建,依赖管理和项目信息管理。 1.1、项目构建 项目构建过程包括【 阅读全文
posted @ 2016-10-21 22:24 bcombetter 阅读(399) 评论(0) 推荐(0)