随笔分类 -  go

分布式爬虫
摘要：RPC基本概念 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了 阅读全文
posted @ 2020-03-06 10:26 风亦缘^_^ 阅读(176) 评论(0) 推荐(0)
前端页面展示
摘要：爬虫前端页面展示 前端页面展示架构 链接Elasticsearch 1.在docker里运行elasticsearch 2.下载elastic库。 ，选择相应的版本(本项目5.0版本)，获取软件包 3.如果您的Elasticsearch服务器在不同的IP和/或端口上运行，只需提供一个指向NewCli 阅读全文
posted @ 2020-03-06 10:03 风亦缘^_^ 阅读(1524) 评论(0) 推荐(0)
爬虫数据存储——安装docker和ElasticSearch(基于Centos7)
摘要：爬虫数据存储——安装docker和ElasticSearch(基于Centos7) 先决条件 操作系统要求 要安装Docker Engine Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。 该centos extras库必须启用。默认情况下，此存储库是启用的，但是 阅读全文
posted @ 2020-02-25 13:45 风亦缘^_^ 阅读(295) 评论(0) 推荐(0)
go并发版爬虫
摘要：并发版爬虫 代码实现 /crawler/main.go /crawler/engine/simple.go /crawler/engine/concurrent.go package engine import ( "log" ) type ConcurrentEngine struct { Sch 阅读全文
posted @ 2020-02-25 13:42 风亦缘^_^ 阅读(448) 评论(0) 推荐(0)
go单任务版爬虫
摘要：go单任务版爬虫(爬取珍爱网) 爬虫总体算法 单任务版爬虫架构 任务 获取并打印所在城市第一页用户的详细信息 代码实现 /crawler/main.go /crawler/engine/engine.go /crawler/engine/types.go /crawler/fetcher/fetch 阅读全文
posted @ 2020-02-25 13:38 风亦缘^_^ 阅读(261) 评论(0) 推荐(0)