摘要: Golang 网络爬虫框架gocolly/colly 五 获取动态数据 gcocolly+goquery可以非常好地抓取HTML页面中的数据,但碰到页面是由Javascript动态生成时,用goquery就显得捉襟见肘了。解决方法有很多种,一,最笨拙但有效的方法是字符串处理,go语言string底层阅读全文
posted @ 2018-01-21 20:26 majianguo 阅读(506) 评论(0) 编辑
摘要: Golang 网络爬虫框架gocolly/colly 四 爬虫靠演技,表演得越像浏览器,抓取数据越容易,这是我多年爬虫经验的感悟。回顾下个人的爬虫经历,共分三个阶段:第一阶段,09年左右开始接触爬虫,那时由于项目需要,要访问各大国际社交网站,Facebook,myspace,filcker,yout阅读全文
posted @ 2018-01-03 23:54 majianguo 阅读(1287) 评论(0) 编辑
摘要: Golang 网络爬虫框架gocolly/colly 三 熟悉了《Golang 网络爬虫框架gocolly/colly 一》和《Golang 网络爬虫框架gocolly/colly 二》之后就可以在网络上爬取大部分数据了。本文接下来将爬取中证指数有限公司提供的行业市盈率。(http://www.cs阅读全文
posted @ 2017-12-30 15:37 majianguo 阅读(515) 评论(0) 编辑
摘要: Golang 网络爬虫框架gocolly/colly 二 jQuery selector colly框架依赖goquery库,goquery将jQuery的语法和特性引入到了go语言中。如果要灵活自如地采集数据,首先要了解jQuery选择器。以下内容是翻译jQuery官方网站 《Category: 阅读全文
posted @ 2017-12-29 20:07 majianguo 阅读(375) 评论(0) 编辑
摘要: Golang 网络爬虫框架gocolly/colly 一 gocolly是用go实现的网络爬虫框架,目前在github上具有3400+星,名列go版爬虫程序榜首。gocolly快速优雅,在单核上每秒可以发起1K以上请求;以回调函数的形式提供了一组接口,可以实现任意类型的爬虫;依赖goquery库可以阅读全文
posted @ 2017-12-29 19:57 majianguo 阅读(915) 评论(0) 编辑
摘要: 在Windows上运行Linux 之前了解过一些适用于linux的Windows子系统,最近又听人提起,于是在自己的Windows 10专业版上安装了一个Ubuntu。运行起来还真方便,以后在windows上开发Linux程序就不需要安装桌面虚拟化应用了。下面讲下具体的步骤。 首先需要在控制面板中启阅读全文
posted @ 2017-12-16 21:12 majianguo 阅读(412) 评论(0) 编辑
摘要: ioutil包二 (原创随笔,转载请注明出处 http://www.cnblogs.com/majianguo/p/8016426.html) ioutil包实现了一些I/O实用功能,导出了7个函数和1个变量: func NopCloser(r io.Reader) io.ReadCloser fu阅读全文
posted @ 2017-12-10 11:07 majianguo 阅读(190) 评论(0) 编辑
摘要: Golang丰富的I/O 二 cgo版Hello World 在《Golang丰富的I/O 用N种Hello World展示》中用多种Hello World的写法展示了golang丰富强大的I/O功能,在此补充一种cgo版的Hello World。以下代码源自go源码: main.go file.g阅读全文
posted @ 2017-11-29 16:53 majianguo 阅读(77) 评论(0) 编辑
摘要: Golang丰富的I/O 用N种Hello World展示 Golang是我目前用过的最好的语言,一接触便深深地喜爱,不断实践,喜爱之情日久弥深。原因之一便是简单、强大、易用。编程操作涉及频率最高的莫过于I/O,标准io包提供的两个接口(io.Reader和io.Writer)对I/O进行了伟大的统阅读全文
posted @ 2017-11-28 19:45 majianguo 阅读(252) 评论(0) 编辑
摘要: Golang fmt包使用小技巧 Go语言fmt包实现了类似于C语言printf和scanf的格式化I/O函数。格式谓词用%前导,go语言中称为”verb”。verbs从C派生而来,但更简单。以下是在开发过程中用过的一些实用小技巧。 一 用十六进制打印数组或切片,每个byte两个字符,每两个字符用空阅读全文
posted @ 2017-11-25 10:19 majianguo 阅读(222) 评论(0) 编辑