GisClub - 博客园

2014年10月29日

摘要：本文将对Redis的常见数据类型的使用场景以及在内存优化方面和性能优化方面做一些详细的分析。Redis常用数据类型Redis最为常用的数据类型主要有以下五种：StringHashListSetSorted set在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这... 阅读全文

posted @ 2014-10-29 14:56 GisClub 阅读(209) 评论(0) 推荐(0)

为什么使用 Redis及其产品定位

摘要：传统MySQL+ Memcached架构遇到的问题实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：MySQL需要不断进行拆库拆表，Memcached... 阅读全文

posted @ 2014-10-29 14:53 GisClub 阅读(275) 评论(0) 推荐(0)

POST模拟百度登录和自动发帖

摘要：这里用HttpClient发包模拟百度登录和发帖，验证码部分采用机器下载人工识别。登陆百度的原理：1.访问https://passport.baidu.com/v2/api/?getapi&class=login&tpl=mn&tangram=false，生成一个cookie。关键值为BAIDUID... 阅读全文

posted @ 2014-10-29 14:01 GisClub 阅读(1734) 评论(0) 推荐(0)

谷歌chrome浏览器和火狐firefox浏览器自带http抓包工具和请求模拟插件

摘要：谷歌chrome浏览器自带http抓包工具chrome://net-internals/谷歌chrome浏览器http请求模拟插件：postman火狐http请求模拟插件：httprequest火狐http抓包插件：firebug 阅读全文

posted @ 2014-10-29 13:58 GisClub 阅读(702) 评论(0) 推荐(0)

[开源框架推荐]Icepdf：纯java的pdf文档的提取和转换库

摘要： ICEpdf 是一个轻量级的开源 Java 语言的 PDF 类库。通过 ICEpdf 可以用来浏览、内容提取和转换 PDF 文档，而无须一些本地PDF库的支持。可以用来做什么？1、从pdf文件中提取所有的文字或信息，比如给pdf文档做摘要2、把pdf转换成图片，这个功能非常的棒，比如给pdf文件做缩... 阅读全文

posted @ 2014-10-29 09:46 GisClub 阅读(1696) 评论(0) 推荐(0)

2014年10月28日

HTTP请求中的User-Agent 判断浏览器类型的各种方法网络爬虫的请求标示

摘要：我们知道，当用户发送一个http请求的时候，浏览的的版本信息也包含在了http请求信息中：如上图所示，请求 google plus 请求头就包含了用户的浏览器信息：User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K... 阅读全文

posted @ 2014-10-28 09:47 GisClub 阅读(4014) 评论(0) 推荐(0)

2014年10月27日

正文提取

摘要： 1、Boilerpipehttp://blog.csdn.net/uestcfrog/article/details/6877832http://code.google.com/p/boilerpipe/http://code.google.com/p/boilerpipe/wiki/QuickSt... 阅读全文

posted @ 2014-10-27 16:27 GisClub 阅读(523) 评论(0) 推荐(0)

2014年10月24日

java：正则移出html元素

摘要： package com.loongtao.general.crawler.slave;import java.util.regex.Matcher;import java.util.regex.Pattern;public class HtmlUtil { private static fin... 阅读全文

posted @ 2014-10-24 16:36 GisClub 阅读(492) 评论(0) 推荐(0)

正则表达式小记--匹配但不获取

摘要： (?!=XXX[：|:|\s]?)\d{16}(?!=XXX)表示查找XXX内容,但最终结果不包括它(?=XXX)表示查找XXX内容,最终结果包括它[：|:|\s]? 表示全角冒号,半角冒号,空格或没有字符(pattern) 匹配pattern 并获取这一匹配。所获取的匹配可以从产生的Match... 阅读全文

posted @ 2014-10-24 16:00 GisClub 阅读(4073) 评论(0) 推荐(0)

2014年10月23日

windows下添加mysql服务

摘要：不解释，cmd下直接运行sc createmysqlbinPath= "C:\Program Files\MySQL\MySQL Server 5.6\bin\mysqld.exe" start= auto 阅读全文

posted @ 2014-10-23 15:08 GisClub 阅读(546) 评论(0) 推荐(0)

公告