|
摘要：
1、RabbitMQ是一个实现了高级消息队列协议（AMQP）的开源消息代理软件，也被称为面向消息的中间件。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移则是构建在开放电信平台框架上的。 RabbitMQ具有以下特点： 可扩展性：RabbitMQ可以通过添加更多的节点和队列来实现水 阅读全文
posted @ 2024-03-26 14:57
五杀摇滚小拉夫
阅读(107)
评论(0)
推荐(0)
摘要：
摘自百度：1、VoIP和SIP的概念： VoIP和SIP都是通信领域中的重要概念，它们各自具有独特的功能和应用场景，但也存在一定的联系。 VoIP，即Voice over Internet Protocol，是一种语音通话技术，它利用互联网协议（IP）进行语音通话与多媒体会议。这种技术将模拟声音信号 阅读全文
posted @ 2024-03-26 11:20
五杀摇滚小拉夫
阅读(167)
评论(0)
推荐(0)
摘要：
Scrapy的功能强大，爬取效率高，相关扩展组件多，可配置和可拓展程度非常高。基于Twisted的异步处理框架，是纯python实现的爬虫框架，架构清晰，模块之间耦合度低，可扩展型极强，可以灵活完成各种需求。Scrapy架构重要组成：Engine：引擎，处理系统的数据流数据、触发事务，框架核心。It 阅读全文
posted @ 2024-01-03 11:05
五杀摇滚小拉夫
阅读(60)
评论(0)
推荐(0)
摘要：
利用代理解决爬虫目标网站封ip的问题，可以使用免费的代理或者付费的代理ip，对于不可用的ip无法及时识别，可以通过搭建ip代理池提高爬虫的工作效率。1、首先所需redis库安装，redis是基于内存的高效的非关系型数据库。github下载地址：版本 3.2.100 ·微软存档/Redis ·GitH 阅读全文
posted @ 2023-12-27 15:44
五杀摇滚小拉夫
阅读(42)
评论(0)
推荐(0)
摘要：
1、数据需求： 采集当前配置任务及子任务的详细信息，页面请求返回数据是json格式。 # -*- coding: utf-8 -*- # 爬取公共数据平台数据归集任务 import math import re import pandas as pd import requests #初始化参数 a 阅读全文
posted @ 2023-12-15 17:29
五杀摇滚小拉夫
阅读(59)
评论(0)
推荐(0)
摘要：
1、需求：采集猫眼电影经典电影影片信息 url：https://www.maoyan.com/films?showType=3 采集页数 30104页 2、源代码如下： import random import pandas as pd import requests from lxml impor 阅读全文
posted @ 2023-12-11 17:11
五杀摇滚小拉夫
阅读(123)
评论(0)
推荐(0)
摘要：
1、需求：采集中科商务网区域工商信息2、需求数据字段： '名称': [title],'摘要': [content],'联系人': [lx_b],'联系电话': [tel],'电子邮件': [email],'公司地址': [address],'法定代表人': [fr],'经营状态': [state], 阅读全文
posted @ 2023-12-05 16:34
五杀摇滚小拉夫
阅读(72)
评论(0)
推荐(0)
摘要：
#coding:utf-8 from pymysql import connect data_list=[] # 将数据存入数据库 conn = connect(host="10.36.128.83", port=20002, database="sthjj_sthj", user="lw_lwc" 阅读全文
posted @ 2023-11-27 11:26
五杀摇滚小拉夫
阅读(85)
评论(0)
推荐(0)
摘要：
1、采集网址url：https://data.wenzhou.gov.cn/jdop_front/index.do 需求：获取数据资源-数据来源单位（龙湾区50）的信息 具体要获取的信息如下：名称、摘要、更新、数源单位、地址、联系方式、数据领域、访问次数、下载次数、更新日期、发布日期、数据量。 2、 阅读全文
posted @ 2023-11-13 16:19
五杀摇滚小拉夫
阅读(169)
评论(0)
推荐(0)
摘要：
# #coding:utf-8 # import requests # from lxml import etree # class login(object): # def __init__(self): # self.headers={ # 'Referer': 'http://www.qixi 阅读全文
posted @ 2023-10-11 11:19
五杀摇滚小拉夫
阅读(121)
评论(0)
推荐(0)
|
浙公网安备 33010602011771号