04 2020 档案
摘要：以下均需cd到具体目录下执行 1. 创建项目：scrapy startproject [项目名] 2. 生成爬虫：scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件 例如: scrapy genspider maitian maitian.com
阅读全文
摘要：利用scrapy框架来抓取网站：http://bj.maitian.cn/esfall，并且用xpath解析response，并将标题、价格、面积、区等信息保存到MongoDb当中准备工作： 1.安装scrapy 2.创建scrapy工程 maitian 3.开启mongodb服务端 items.p
阅读全文
摘要：问题：在pipelines.py文件中导入settings.py文件 出现红色波浪线 解决： 在当前文件下，右键找到mark Directory as（鼠标放在文件夹上，右键） 原因： 项目根目录才会自动标记为source root，默认加到搜索路径中。其他目录（例如这里的maitian）需要手动加
阅读全文
摘要：1. 打开cmd 2. 想将项目放在C:\python\PycharmProjects\scrapy_demo文件夹下，cd到该目录下 3. 输入创建项目命令：scrapy startproject project_name 4. 使用pycharm打开项目所在目录 5. 文件说明 items.py
阅读全文
摘要：1. 使用scrapy shell http://bj.maitian.cn/esfall访问麦田房产 北京的二手房 ，得到response:第一页的html 2. 目标：获取标题、价格、面积、区的信息 3. 标题：response.xpath('//div[@class="list_title"]
阅读全文
摘要：1. 首先安装scrapy：pip install scrapy 2. 为什么使用scrapy shell？ Scrapy终端是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。其实相当于一个python终端， 其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python
阅读全文
摘要：scrapy的架构图： engine：引擎：控制数据流的流向 四大组件： scheduler：调度器：处理requests，排队再返回给engine downloader：下载器：把requests变为response再返回给engine spiders：爬虫：解析response变为items/r
阅读全文
摘要：ER模型关系： 不建议表与表之间建立循环的关系闭合 多表约束 产生关系 如果有删除修改操作，对应的关联表数据 ，就会报错 逻辑删除解决这个问题 先建表 在约束： alter table scores add constraint stu foreign key(stuid) referrnces s
阅读全文
摘要：数据操作： 总结： 1.只要数学表达式中有Null出现，最终结果都是Null。（所有数据库都是这样规定的） 解决：ifnull:空处理函数 ifnull(可能为null的字段,被当做什么处理) eg:ifnull(sal,0) 2.执行顺序： select 5 选出数据 XXX from 1 XXX
阅读全文
摘要：mysql：关系型数据库 E-R模型：E：实体entry——表 R：关系 表表关系：一对一、一对多、多对多 三范式：1.列不可拆分：字段要够小 2.唯一标志 3.引用主键 约束：主键 primary key 、非空 not null、唯一 unique、 默认 default、外键 foreign
阅读全文
摘要：安装pymysql import pymysql 1.链接数据库 连接对象connection try: conn=pymysql.Connect( host="localhost", port=3306, db="er", user="root", passwd="password", chars
阅读全文
摘要：省表，城市表，将省城市区放在一个表里实现数据存储和查询 pid 关联 自己的id：在同一张表里 省表结构provinces：id，ptitle 市表结构citys ：id, ctitle, provid citys表的proid表示城市所属的省，对应着provinces表的id值 观察两张表发现，c
阅读全文
摘要：1.首先先下载好数据库文件 2.cd：当前路径（文件所在的） 3.进入mysql，执行：use 目标数据库名 4.导入文件：source 数据库文件名 当然也可以直接进行第4步，但会报错：由于路径中包含\m或\s 文件最好直接放在D盘或e盘下。
阅读全文
摘要：转自 https://www.cnblogs.com/lsy131479/ INSERT INTO VALUES ('0', '中国', NULL); INSERT INTO VALUES ('110000', '北京市',NULL); INSERT INTO VALUES ('110100', '
阅读全文
摘要：基于Tictoc示例仿真：指导构建和使用示例仿真模型，展示一些常用的OMNeT ++功能。
阅读全文
摘要：1.配置：win10 64位， OMNET++ 5.6.1 ，jre jdk1.8以上； 2.安装步骤： 安装jre和jdk java version "1.8.0_241" 安装OMNET++ 下载地址：https://omnetpp.org/download 官网无法下载 链接:http://p
阅读全文
摘要：mysql的启动 1.以管理员身份打开cmd界面：执行命令：net start mysql 如果报错：可能是因为没安装mysql服务，先执行：mysqld -install 即可 2.输入mysql：就启动客户端了 注意：需要先设置环境变量 3.关闭服务端：net stop mysql mysql的
阅读全文
摘要：主从服务： 首先得有两个配置文件 master：主：负责写 slave：从 ：负责读 主服务器（RedisServer1）redis.windows.conf修改如下：port 6379(默认)，不需要作修改； 从服务器（RedisServer2）复制redis.windows.conf改为slav
阅读全文
摘要：#pip install redis import redis #1.链接数据库 key——value db=0 默认链接第0个数据库 client=redis.StrictRedis(host='127.0.0.1',port=6379) #2.设置key key='pyone' # #3.str
阅读全文
摘要：数据操作 4.set 集合：无序的 存的是string类型 不能修改 不重复 增、删、查看、判断元素是否在集合中 127.0.0.1:6379> sadd one a b c d (integer) 4 127.0.0.1:6379> smembers one 1) "d" 2) "a" 3) "c
阅读全文
摘要：redis和mongodb都是非关系型数据库redis是键值数据库：key：value，可基于内存并可持久化的数据结构存储系统，基于内存所以速度较快 redis的配置文件里表明 有16个数据库 0~15 Redis控制台中文乱码问题：想get方法获取的是中文，而不是十六进制的ASCII码 unico
阅读全文
摘要：下载地址：https://github.com/MicrosoftArchive/redis/releases 这个太慢了 https://github.com/ServiceStack/redis-windows 安装过程： 临时服务安装：也就是网上说的 不能关闭窗口，再另打开一个窗口 1.打开c
阅读全文
摘要：mongodb-python的交互：#安装pymongo：pip install pymongoimport pymongo 1.链接mongod的服务 2.库和表的名字：有数据会自动建库建表 3.插入数据 import pymongo try: #1.链接mongod的服务 mongo_py=py
阅读全文
摘要：元素组成相同：考虑每次旋转多少度、平移(翻转也是转动) 元素组成相似：黑白+ 元素组成不相似： 属性： 对称(轴对称、中心对称) 曲直性：全是曲线、全是直线、有曲有直 开闭： 点、线、面的个数：都有一个⚪的话：切点、交点、⚪内的点数、⚪外的点数（切点也是交点：三角形有三个交点） 曲线的个数、直线的个
阅读全文
摘要：mongodb没有数据库缓存，直接写入硬盘 数据库能存储的类型： 1.object ID> db.stu.find(){ "_id" : ObjectId("5e819e9f75d26b8add679fe8"), "a" : 1 }2.string3.Array4.Boolean5.object6.
阅读全文
摘要：#索引查询 //50w的数据 for (var i=0;i<=500000; i++){ db.data.insert( { _id:i, user:'user'+i, #js中字符串和数字相加是字符串类型 age:i }) } //_id 0ms db.data.find({_id:333333}
阅读全文
浙公网安备 33010602011771号