#大囚长# - 博客园

Golang福利爬虫

摘要：没事的时候跑两把，穷人专用。package mainimport ( "bytes" "fmt" "github.com/PuerkitoBio/goquery" "log" "math" "net/http" ... 阅读全文

posted @ 2018-08-02 13:54 #大囚长# 阅读(155) 评论(0) 推荐(0)

摘要：嗯，就像标题说的那么简单而已&的并发功能time for i in `grep server /etc/hosts | awk '{print $1}'`; do (ssh $i "echo 123; sleep 1; echo 456" &); do... 阅读全文

posted @ 2018-08-01 16:41 #大囚长# 阅读(149) 评论(0) 推荐(0)

摘要：利用go语言的协程并发优势爬取网页速度相当之快，博客园100页新闻标题只需一秒即可全部爬取package mainimport ( "bytes" "fmt" "github.com/PuerkitoBio/goquery" "l... 阅读全文

posted @ 2018-08-01 14:43 #大囚长# 阅读(84) 评论(0) 推荐(0)

摘要：利用了golang对高并发的良好支持，同目录下将ip每行一个写入pinglist.txt文件即可其实这个功能用linux一条命令就能搞定： cat pinglist.txt | xargs -P 10 -I {} ping -fc 100 {}... 阅读全文

posted @ 2018-07-30 16:03 #大囚长# 阅读(399) 评论(0) 推荐(0)

摘要： xargs是一个很有用的命令，它可以实现并行，同&有异曲同工之妙，在大批量管理服务器时非常有用 xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。它擅长将标准输入数据转换成命令行参数，xargs能够处理管道或者stdin并将其转... 阅读全文

posted @ 2018-07-27 10:28 #大囚长# 阅读(314) 评论(0) 推荐(0)

摘要： package mainimport ( "crypto/aes" "crypto/cipher" "fmt" "os")var commonIV = []byte{0x00, 0x01, 0x02, 0x03, 0x04, 0x05... 阅读全文

posted @ 2018-07-24 17:27 #大囚长# 阅读(183) 评论(0) 推荐(0)

摘要： package mainimport ( "flag" "strings" "os" "fmt")var ARGS stringfunc main() { var uptime *bool = new(bool) flag... 阅读全文

posted @ 2018-07-09 15:58 #大囚长# 阅读(611) 评论(0) 推荐(0)

摘要： '''''''''mpl.rcParams['font.sans-serif'] = ['SimHei']mpl.rcParams['axes.unicode_minus'] = False用来解决不能使用汉字问题，需要导入matplotlib'''impo... 阅读全文

posted @ 2018-07-04 14:49 #大囚长# 阅读(195) 评论(0) 推荐(0)

摘要：昨天我们聊起“资水东流”的文章《技术大停滞》。他的判断是，人类科技走到这个阶段，不是处于什么技术大爆炸之中，恰恰是处于技术大停滞的过程中。这是一个很颠覆的观点。昨天我们聊的是其中一个理由，如果没有科技范式的革命，实际上我们都在吃前辈的老本，都是在做修修补补的... 阅读全文

posted @ 2018-06-27 15:37 #大囚长# 阅读(747) 评论(0) 推荐(0)

摘要：在流媒体传输分发领域，CDN和P2P一直是经常被拿来进行对比和讨论的一大热点，虽然不少大型视频企业目前同时使用着CDN和P2P两套分发机制，但相对于CDN，很多人对于P2P技术知之甚少。整体来说，P2P技术一方面能够极大缓解CDN“中心化”的边缘节点服务器压... 阅读全文

posted @ 2018-06-27 09:51 #大囚长# 阅读(259) 评论(0) 推荐(0)