pu369com

纯golang爬虫实战－（六）－关于cookiejar的理解 (2020-02-14 13:50)

摘要：对上一篇遗留的cookie的问题，从这里https://studygolang.com/articles/5228找到一篇几年前的代码，原作者golang_yh发表的原文已经不见了，我对代码中的一处小错误进行了修复。感觉这段代码有助于理解cookiejar package main import 阅读全文

posted @ 2020-02-16 20:18 pu369com 阅读(3147) 评论(0) 推荐(0)

纯golang爬虫实战－（五）－登录并带cookie访问

摘要：之前写的代码访问内网网站，在实践中发现以下现象： 1、访问网站时如不设置headers 会返回包含xss字样的提示 2：fiddler截获后，只有在IE浏览器仍处于登录状态时，才能补发成功。当在浏览器中退出登录后，fiddler补发不成功。 3：我将浏览器登录成功后的http headers复制到代阅读全文

posted @ 2020-02-14 13:50 pu369com 阅读(5611) 评论(0) 推荐(0)

golang使用gopacket包进行数据包捕获实践（未成功）

摘要：想用go抓TCP包，参考：https://www.cnblogs.com/lanyangsh/p/9821106.html，结果运行时提示wpcap.dll有问题，从网上下载了几个都不行。后来安装了win10Pcap，似乎可以了。但又提示：Error opening adapter: ��ɹ� 阅读全文

posted @ 2020-02-12 15:30 pu369com 阅读(1577) 评论(2) 推荐(0)

纯go+sqlite3+html/template网站（类似MVC实现数据库CURD、上传下载文件）－最少依赖才是硬道理

摘要：一直不喜欢框架，不喜欢引入外部包，所以重新梳理了以下代码，尽量不引入外部依赖。主要实现以下目标（玩具级代码，适合精准需求的小应用）： 1、可以操作sqlite3数据库 2、可以用template展示数据（需增加页面时，在v目录下增加模板html文件，在main.go中增加路由及响应函数） 3、可以上阅读全文

posted @ 2020-02-11 21:23 pu369com 阅读(544) 评论(0) 推荐(0)

纯golang+sqlite3 CRUD

摘要：参考：https://blog.csdn.net/wyyyh9458/article/details/83550505和https://www.v2ex.com/amp/t/618547 看代码应该是谢大神写的；另，我没有修改 go.mod，类似： `github.com/mattn/go-sqli 阅读全文

posted @ 2020-02-10 11:47 pu369com 阅读(2828) 评论(0) 推荐(0)

纯golang爬虫实战（四）－POST登录半成品以及利用fiddler抓包

摘要：补充说明：按照本文方式，之所以能成功获取登录后的网页，实际上是由于在代码中使用了浏览器成功登录后的cookie，此时服务器上SessionID有效。而一旦从浏览器中注销登录，本代码也就无法访问登录后的网页。因此，正确方式请参考下一篇文章：https://www.cnblogs.com/pu369/ 阅读全文

posted @ 2020-02-08 14:48 pu369com 阅读(1588) 评论(0) 推荐(0)

纯golang爬虫实战(三）－批量下载保存图片

摘要：网站上有9000多张照片要下载: //一开始参考https://www.jb51.net/article/153275.htm用reader和writer进行io.Copy,但经常是抓取100多个网页后就崩溃了， //原因似乎是输入输出流影响或并发数量影响，代码执行快，输出流写硬盘慢。 //后来参考阅读全文

posted @ 2020-01-23 16:43 pu369com 阅读(2933) 评论(0) 推荐(0)

再次遇到golang乱码问题，用simplifiedchinese解决

摘要：上篇文章中，抓取网页时，本想匹配其中的汉字。由于出现乱码，只好匹配英文绕过了问题。原因很简单：该网页没指定utf8，默认应该是GBK 解决办法也很简单：引入 "golang.org/x/text/encoding/simplifiedchinese" 比如原来的代码是 resp, err := t 阅读全文

posted @ 2020-01-22 15:16 pu369com 阅读(3105) 评论(0) 推荐(0)

纯golang爬虫实战(二）－爬取内网网站信息

摘要：接上一篇文章https://www.cnblogs.com/pu369/p/12202845.html只讲了原理，抽时间写个了实用版，将员工信息爬取到一个TXT文档中，以便于查询，上代码： //纯golang爬虫 package main import ( "bytes" "fmt" "io/iou 阅读全文

posted @ 2020-01-22 13:12 pu369com 阅读(1023) 评论(0) 推荐(0)

纯golang爬虫实战(一）

摘要：纯golang爬取内网网站数据参考https://blog.csdn.net/CrazyJavaPerson/article/details/81871649 难点一：需要登录，参考我的上一篇文章https://www.cnblogs.com/pu369/p/12201707.html，找到POS 阅读全文

posted @ 2020-01-16 19:20 pu369com 阅读(836) 评论(0) 推荐(1)