网站更新内容：请访问： https://bigdata.ministep.cn/

10 2021 档案

python解析页面DOM树形成xpath列表，并计算DOM树的最大深度
摘要：## 参考 [(14条消息) python解析页面DOM树形成xpath列表，并计算DOM树的最大深度_Together_CZ的博客-CSDN博客](https://blog.csdn.net/Together_CZ/article/details/73718463 )] [[Solved] Pyt 阅读全文
posted @ 2021-10-26 19:58 ministep88 阅读(265) 评论(0) 推荐(0)
MongoDB基本安全设置
摘要：[MongoDB基本安全设置 | Ever Notes](https://15tar.com/linux/2017/08/09/mongodb-security.html )] 前段时间在VPS上跑了个程序抓取PornHub的资源然后保存到MongoDB里，跑了几天，抓下来近十万条数据，然后用Nod 阅读全文
posted @ 2021-10-26 15:01 ministep88 阅读(391) 评论(0) 推荐(0)
Flask 使用 request 处理GET POST请求、上传文件
摘要：在Django框架开发中，request对象就是用来处理GET\POST请求的关键对象，而Flask框架也是一样的。 下面来看看request对象的常用方法。 request对象的常用方法 request对象的导入： from flask import request Flask 框架中的 requ 阅读全文
posted @ 2021-10-25 14:23 ministep88 阅读(1010) 评论(1) 推荐(0)
nginx配置多个静态页面不能用root
摘要：别名配置，主要是【alias】，用于访问文件系统，在匹配到location配置的URL路径后，指向【alias】配置的路径。如： 这块最常用的点就是web端一个域名时候，匹配不同项目路径，从而实现不同web项目的控制 当然也可以一个项目，部署多个场景 如dev开发，test测试，pro正式。。。等等 阅读全文
posted @ 2021-10-24 10:07 ministep88 阅读(658) 评论(0) 推荐(0)
关于crontab执行python的os.system 失败问题
摘要：crontab 环境变量问题 目前写的一个自动替换nginx配置并测试重启的脚本放到crontab里无法执行，每次到os.system(“nginx -t”)这里就会中断，但是手动执行脚本又是正常的。 经查询，在crontab里无法读到系统的环境变量，直接os.system(“nginx -t”)是 阅读全文
posted @ 2021-10-21 10:58 ministep88 阅读(392) 评论(1) 推荐(0)
读取块文件
摘要：read_in_chunks def read_in_chunks(filePath, chunk_size=1024*1024): """ Lazy function (generator) to read a file piece by piece. Default chunk size: 1M 阅读全文
posted @ 2021-10-16 14:49 ministep88 阅读(67) 评论(0) 推荐(0)
Download large file in python with requests
摘要：Download large file in python with requests Download large file in python with requests - Stack Overflow 阅读全文
posted @ 2021-10-16 13:02 ministep88 阅读(42) 评论(0) 推荐(0)
python-requests的post
摘要：python-requests的post python requests Content-Length How not to let python requests calculate content-length and use the provided one? - Stack Overflow 阅读全文
posted @ 2021-10-16 06:38 ministep88 阅读(82) 评论(0) 推荐(0)
谷歌如何收购 Android
摘要：谷歌如何收购 Android Android 是谷歌公司的操作系统，但并不是谷歌从头开发的，而是从一家小公司收购而来的。 最近，美国出版了一本新书，作者采访了几十位当事人，介绍 Android 的诞生内幕。 Android 团队最早的创业想法，是为照相机开发一个操作系统。但是，后来意识到手机会取代相 阅读全文
posted @ 2021-10-15 16:39 ministep88 阅读(910) 评论(0) 推荐(0)
pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it‘s not in your PATH
摘要：[pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it‘s not in your PATH_东南飘雪-CSDN博客](https://blog.csdn.net/qq_31362767/ar 阅读全文
posted @ 2021-10-10 16:17 ministep88 阅读(168) 评论(0) 推荐(0)
微信通知提示
摘要：背景： 微信是常用工具，可借助微信邮箱功能，提醒查看事情； 其实也可以借助微信机器人，但是比较麻烦，搜索发现 QQ邮箱提醒 已经够用了； 结果示例 操作 1.微信开通邮箱提醒功能 2.借助python定时发送邮件 补充python 脚本 """ 发送邮件 """ import yagmail yag 阅读全文
posted @ 2021-10-08 17:43 ministep88 阅读(189) 评论(2) 推荐(0)
fetch模板语法
摘要：fetch使用案例 const get_html = async (url) => { return await fetch(url, { method: "get", // mode: "no-cors", headers: { "Content-Type": "application/x-www 阅读全文
posted @ 2021-10-07 11:41 ministep88 阅读(78) 评论(2) 推荐(0)
多线程调用
摘要：# -*- coding: utf-8 -*- """ Created on Thu Nov 24 10:10:13 2016 @author: Acer """ # -*- coding: utf-8 -*- import sys, urllib, urllib2, json ,requests, 阅读全文
posted @ 2021-10-05 11:26 ministep88 阅读(73) 评论(0) 推荐(0)
base_file文件
摘要：@@ base_file文件内容 import os,re import shutil import pandas as pd import time from selenium import webdriver from selenium.webdriver.common.keys import 阅读全文
posted @ 2021-10-05 11:23 ministep88 阅读(92) 评论(0) 推荐(0)

网站更新内容：请访问：https://bigdata.ministep.cn/