03 2021 档案
摘要：需要安装Mysqlclient，如果pip安装Mysqlclient失败. ``` shell # 使用pip安装.whl # https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient pip install <.whl> ``` 如果 pip
阅读全文
posted @ 2021-03-31 15:03
薄荷味日记
摘要：from urllib import parse url = "https://engine.scichina.com/publisher/scp/journal/NSR?slug=abstracts" parse.urlsplit(url) SplitResult(scheme='https',
阅读全文
posted @ 2021-03-11 10:57
薄荷味日记
摘要：# -*- coding: utf-8 -*- from pymongo import MongoClient mongodb_uri = "mongodb://user:password@127.0.0.1:27017/?authSource=admin" client = MongoClient
阅读全文
posted @ 2021-03-11 10:29
薄荷味日记
摘要：queue用来在进程间传递消息，任何可以pickle-able的对象都可以在加入到queue。 multiprocessing.JoinableQueue 是 Queue的子类，增加了task_done()和join()方法。 task_done()用来告诉queue一个task完成。一般地在调用g
阅读全文
posted @ 2021-03-11 10:04
薄荷味日记
摘要：链接： https://juejin.cn/post/6930798849623588878 1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。 2、应尽量避免在 WHERE 子句中对字段进行 NULL 值判断，创建表时 NULL 是默认值，
阅读全文
posted @ 2021-03-10 18:06
薄荷味日记
摘要：Celery 的使用场景 异步任务：将耗时操作任务提交给Celery去异步执行。 定时任务：比如每日数据统计 Celery 的基本结构 task producer：任务生产者，产生任务并交给任务队列 celery beat：任务调度器，周期性地将配置中需要执行的任务发送给任务队列（定时任务） bor
阅读全文
posted @ 2021-03-10 13:49
薄荷味日记
摘要：module_base = pathlib.Path(__file__).absolute().parent.parent return_code = subprocess.call([config.python, '-m', 'link.db.operation', '-m', tmp_filen
阅读全文
posted @ 2021-03-10 13:24
薄荷味日记
摘要：1、HTTP 超文本传输协议，信息是明文传输； 端口 80 2、HTTPS 具有安全性的SSL加密传输协议； 端口 443 3、HTTP协议代理服务器； 常用端口号：80/8080/3128/8081/9080 4、SOCKS代理协议服务器；常用端口号：1080 5、FTP（文件传输）协议代理服务器
阅读全文
posted @ 2021-03-10 13:13
薄荷味日记
摘要：FastApi & MongoDB - the full guide: https://github.com/tiangolo/fastapi/issues/1515 # -*- coding: utf-8 -*- from datetime import datetime from typing
阅读全文
posted @ 2021-03-10 12:01
薄荷味日记
摘要：中文文档 https://www.cnblogs.com/zhenyauntg/p/13201826.html 官方地址：http://docs.mongoengine.org/index.html
阅读全文
posted @ 2021-03-10 11:11
薄荷味日记
摘要：https://www.runoob.com/python/python-built-in-functions.html Python 内置函数 内置函数 abs() divmod() input() open() staticmethod() all() enumerate() int() ord
阅读全文
posted @ 2021-03-09 20:01
薄荷味日记
摘要：一、LinkExtrator就非常适合整站抓取 import scrapy from scrapy.linkextractor import LinkExtractor class WeidsSpider(scrapy.Spider): name = "weids" allowed_domains
阅读全文
posted @ 2021-03-09 19:34
薄荷味日记
摘要：文档： https://www.osgeo.cn/scrapy/topics/practices.html 1、scrapy.crawler.CrawlerProcess Scrapy构建于Twisted异步网络框架基础之上，因此你需要在Twisted reactor里面运行。 可以使用scrapy
阅读全文
posted @ 2021-03-09 19:31
薄荷味日记
摘要：FastAPI 使用的框架 Pydantic Pydantic 是一个库，基于Python类型提示来定义数据验证，序列化和文档（使用JSON模式）。这使其非常直观。它可与 Marshmallow 媲美。尽管在基准测试中它比Marshmallow 更快。并且由于它基于相同的Python类型提示，因此对
阅读全文
posted @ 2021-03-09 16:07
薄荷味日记
摘要：官方： https://pydantic-docs.helpmanual.io/ 翻译： https://blog.csdn.net/swinfans/article/details/89629641#t9
阅读全文
posted @ 2021-03-09 15:28
薄荷味日记
摘要：Click 是一个利用很少的代码以可组合的方式创造优雅命令行工具接口的 Python 库。 它是高度可配置的，但却有合理默认值的“命令行接口创建工具”。 Click 的三个特性: 任意嵌套命令 自动生成帮助页面 支持在运行时延迟加载子命令 import click @click.command()
阅读全文
posted @ 2021-03-09 10:24
薄荷味日记
摘要：使用具有严格语法的解释器，根据提供的查询字符串返回文档。 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": { "query_string": { "query
阅读全文
posted @ 2021-03-08 14:57
薄荷味日记
摘要：多字段查询 multi_match查询基于匹配查询且允许多字段查询构建的： { "query": { "multi_match": { "query": "this is a test", "type": "best_fields", "fields": ["subject", "messages^
阅读全文
posted @ 2021-03-08 14:16
薄荷味日记
摘要：match_phrase_prefix与match_phrase相同，除了它允许在文本的最后一个词上的前缀匹配。 max_expansions参数（默认值为50），它可以控制最后一项将被展开的前缀的数量。 GET /_search { "query": { "match_phrase_prefix"
阅读全文
posted @ 2021-03-08 13:55
薄荷味日记
摘要：根据其ID返回文档。该查询使用存储在该_id字段中的文档ID curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": { "ids" : { "values" : [
阅读全文
posted @ 2021-03-08 13:49
薄荷味日记
摘要：match_phrase查询分析文本，并从分析的文本中创建短语查询 匹配查询的类型为布尔值。这意味着将对提供的文本进行分析，并且分析过程将从提供的文本中构造一个布尔查询。可以将operator参数设置为or或and来控制布尔子句（默认为or）。可以使用minimum_should_match参数设置
阅读全文
posted @ 2021-03-08 13:47
薄荷味日记
摘要：模糊查询使用基于 Levenshtein 编辑距离的相似性 将在6.0中正式移除，使用匹配查询替代模糊查询 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": {
阅读全文
posted @ 2021-03-08 13:33
薄荷味日记
摘要：在7.0.0中弃用。 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": { "type": { "value": "_doc" } } } '
阅读全文
posted @ 2021-03-08 13:21
薄荷味日记
摘要：返回包含与正则表达式匹配的术语的文档 。 正则表达式是一种使用占位符（称为运算符）匹配数据中的模式的方法。有关regexp查询支持的运算符的列表 ，请参见正则表达式语法。 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: ap
阅读全文
posted @ 2021-03-08 13:13
薄荷味日记
摘要：匹配与通配符表达式具有匹配字段的文档（not analyzed）。支持的通配符是 “”，它匹配任何字符序列（包括空字符）；还有 “？”，它匹配任何单个字符。请注意，此查询可能很慢，因为它需要迭代多个项。为了防止极慢的通配符查询，通配符项不应以通配符 “” 或 “？” 开头。通配符查询对应 Lucen
阅读全文
posted @ 2021-03-08 13:10
薄荷味日记
摘要：匹配包含具有指定前缀的项（not analyzed）的字段的文档。前缀查询对应 Lucene 的 PrefixQuery 。 curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "
阅读全文
posted @ 2021-03-08 10:46
薄荷味日记
摘要：返回包含字段索引值的文档。 由于多种原因，文档字段的索引值可能不存在： 源JSON中的字段是null或[] 该字段已"index" : false在映射中设置 字段值的长度超出ignore_above了映射中的设置 字段值格式错误，并且ignore_malformed已在映射中定义 curl -X
阅读全文
posted @ 2021-03-08 10:14
薄荷味日记
摘要：范围查询编辑 返回包含提供范围内的术语的文档。 gt : Greater than gte: Greater than or equal to lt : Less thanlte : Less than or equal toformat: (Optional, string) 日期格式 用于在查询
阅读全文
posted @ 2021-03-01 14:23
薄荷味日记
摘要：结构化检索 精准匹配检索 term/terms 范围检索 range query 存在与否检索 exists query 前缀检索 prefix query 通配符模糊检索 wildcard query 正则检索 regexp query 类型检索 type query id检索 ids query
阅读全文
posted @ 2021-03-01 14:05
薄荷味日记
浙公网安备 33010602011771号