随笔分类 -  爬虫

linux下编译安装curl
摘要：linux下编译安装curl 1.下载curl 1 git clone https://github.com/curl/curl.git 2.在curl目录下生成configure文件 1 cd curl 2 ./buldconf 3.编译生成curl 1 ./configure 2 make 3  阅读全文
posted @ 2017-04-21 14:16 Boblim 阅读(8286) 评论(0) 推荐(0)
【c语言】使用gumbo解析HTML
摘要：之前使用过PHP的Simple HTML DOM简单地解析HTML但PHP终非我所熟悉的语言，虽然我并不对语言抱有绝对的执着= =（什么你不相信，好吧，不管你信不信，反正我是信了= =）。虽然可以简单地使用正则表达式来解析HTML但我不是希望能够找到一个合适的HTML解析库，网上搜索了下关于c语言解 阅读全文
posted @ 2017-04-21 14:15 Boblim 阅读(1050) 评论(0) 推荐(0)
linux下使用C++ Json库
摘要：安装Json库 1、下载JsonCpphttp://sourceforge.net/projects/jsoncpp/files/ 2、下载sconshttp://sourceforge.net/projects/scons/files/scons/2.1.0/scons-2.1.0.tar.gz/ 阅读全文
posted @ 2017-04-21 14:14 Boblim 阅读(14640) 评论(0) 推荐(0)
iconv的安装和使用
摘要：一。Linux下iconv的安装包的下载页面http://www.gnu.org/software/libiconv/ 阅读全文
posted @ 2017-04-21 14:13 Boblim 阅读(12021) 评论(0) 推荐(0)
libcurl使用easy模式阻塞卡死等问题的完美解决---超时设置
摘要：libcurl使用时疑难问题： 在使用libcurl时, jwisp发现, curl_easy_perform是阻塞的方式进行下载的, curl_easy_perform执行后,程序会在这里阻塞等待下载结束(成功结束或者失败结束).此时若正常下载一段时间后,进行网络中断, curl_easy_per 阅读全文
posted @ 2016-11-01 10:13 Boblim 阅读(26244) 评论(0) 推荐(0)
jsoup
摘要：jsoup的基础分析教程：http://www.open-open.com/jsoup/example-list-links.htm jsoup 简介 Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlpa 阅读全文
posted @ 2016-10-12 11:18 Boblim 阅读(657) 评论(0) 推荐(0)
libjson 编译和使用 - 2. 配置使用lib文件
摘要：以下转自：http://blog.csdn.net/laogong5i0/article/details/8223448 1. 在之前的libjson所在的解决方案里新建一个控制台应用程序，叫TestLibjson。 2. 右键TestLibjson项目，选择属性。按下图设置导入libjson的头文 阅读全文
posted @ 2016-09-02 20:13 Boblim 阅读(3859) 评论(0) 推荐(0)
libjson 编译和使用 - 1. 编译
摘要：以下转自：http://blog.csdn.net/laogong5i0/article/details/8212511 最近想用box2dEdit来编辑一下比较复杂的图形然后倒入到自己有游戏里，但box2dEdit编辑后输出的是json文件。 因为没有用C++解析json文件的经验，在网上找了很多 阅读全文
posted @ 2016-09-02 20:11 Boblim 阅读(4854) 评论(0) 推荐(0)
一个用C++写的Json解析与处理库
摘要：与 JS 的使用比较（语法层面上） 对于原始的 JSON 字符串 str： { "id": 1000, "name": "ggicci", "birthday": [1991, 11, 10] } JS: var str = '{ "id": 1000, "name": "ggicci", "bir 阅读全文
posted @ 2016-09-02 20:06 Boblim 阅读(10237) 评论(0) 推荐(0)
C++用iconv进行页面字符转换
摘要：以上转自：http://baike.baidu.com/link?url=17S9vgAim-xyYluIA00db7eoyuueWWMusP3r6hTSRvwSy9bPCCQmOKbYNgPYo32vdBz5NFDXuzzX_DS_C6XVua 代码展示： 阅读全文
posted @ 2016-09-02 19:50 Boblim 阅读(8629) 评论(0) 推荐(0)
QT学习:c++解析html相关
摘要：原来我做爬虫的时候，对页面进行解析的时候总是用很简单粗暴的方法，直接找规律。后来在网上看到了gumbo，尝试了一下，发现确实很好用，所以向大家推荐一下。 以下转自：http://blog.csdn.net/whyistao/article/details/37919581 转载请注明：http:// 阅读全文
posted @ 2016-09-02 19:35 Boblim 阅读(8609) 评论(0) 推荐(0)
【c语言】使用gumbo解析HTML
摘要：之前使用过PHP的Simple HTML DOM简单地解析HTML但PHP终非我所熟悉的语言，虽然我并不对语言抱有绝对的执着= =（什么你不相信，好吧，不管你信不信，反正我是信了= =）。虽然可以简单地使用正则表达式来解析HTML但我不是希望能够找到一个合适的HTML解析库，网上搜索了下关于c语言解析HTML的库，好像不是挻多的样子，我搜索到了google的gumbo， gumbo是开源的，可... 阅读全文
posted @ 2016-09-02 19:31 Boblim 阅读(9956) 评论(0) 推荐(0)
CURL库在C++程序中的运用浅析
摘要：最近由于要做一个爬虫项目，要对很多网站进行爬取，所以一直都在看这方面的文章。在翻阅了很多资料后，下载了一个curl库，着实对项目有了很大的帮助。 一、LibCurl基本编程框架libcurl是一个跨平台的网络协议库，支持http, https, ftp, gopher, telnet, dict, 阅读全文
posted @ 2016-09-02 19:27 Boblim 阅读(13957) 评论(0) 推荐(1)