网站更新内容:请访问: https://bigdata.ministep.cn/
摘要: SQL数据分析 参考: Hits!] 阅读全文
posted @ 2021-03-30 14:37 ministep88 阅读(44) 评论(0) 推荐(0)
摘要: Tidy Data in Python by Jean-Nicholas Hould import pandas as pd import datetime from os import listdir from os.path import isfile, join import glob imp 阅读全文
posted @ 2021-03-28 19:13 ministep88 阅读(124) 评论(0) 推荐(0)
摘要: #选区元素的父元素 <li> <a href="/hot/page/4/" rel="nofollow"> <!--<a href="/hot/page/4/" rel="nofollow">--> <span class="next"> 下一页 </span> </a> </li> 选取a的hre 阅读全文
posted @ 2021-03-28 19:11 ministep88 阅读(113) 评论(0) 推荐(0)
摘要: python爬虫scrapy的LinkExtractor 使用背景: 我们通常在爬去某个网站的时候都是爬去每个标签下的某些内容,往往一个网站的主页后面会包含很多物品或者信息的详细的内容,我们只提取某个大标签下的某些内容的话,会显的效率较低,大部分网站的都是按照固定套路(也就是固定模板,把各种信息展示 阅读全文
posted @ 2021-03-28 19:09 ministep88 阅读(253) 评论(0) 推荐(0)
摘要: extract_first() 会避免 IndexError ,并且在找不到与选择匹配的元素时返回 None 另一件事是调用 .extract() 的结果是一个列表,因为我们处理的是 SelectorList 的一个实例。当您知道你只想要第一个结果,在这种情况下,您可以做: >>> response 阅读全文
posted @ 2021-03-28 19:08 ministep88 阅读(96) 评论(0) 推荐(0)
摘要: ![a](https://img2020.cnblogs.com/blog/2304373/202103/2304373-20210327220347851-2038044129.png) ![b](http://img2020.cnblogs.com/blog/2304373/202103/2304373-20210327220347851-2038044129.png) ![c](http:/ 阅读全文
posted @ 2021-03-27 22:17 ministep88 阅读(38) 评论(0) 推荐(0)
摘要: 在使用wxappUnpacker反编译一些小程序得时候经常会遇到这个问题: 翻译过来是:输入意外终止。借鉴网上其他大佬的看法是因为微信版本升级后,会遇到各种报错, 以及无法获取到wxss的问题。 导致拿不到wxss文件,那么找到反编译脚本下的wuWxss.js,修改runVM方法为: functio 阅读全文
posted @ 2021-03-27 21:42 ministep88 阅读(1688) 评论(2) 推荐(0)
摘要: 非连续登录用户,计算每个用户当日、当日到次日、3天内的消费订单量 背景:需要统计每日付费用户,其当日内购买订单量、当日到次日内购买订单量、3天内的购买订单量分布情况; with tmp_order_detail as ( select to_char(t1.create_time,'yyyymmdd 阅读全文
posted @ 2021-03-26 17:48 ministep88 阅读(228) 评论(0) 推荐(0)
摘要: 存在则更新,不存在则插入 import pandas as pd import pymongo from pymongo import IndexModel, ASCENDING from pymongo import InsertOne, DeleteMany, ReplaceOne, Updat 阅读全文
posted @ 2021-03-26 15:09 ministep88 阅读(2401) 评论(0) 推荐(0)
摘要: python requests读取的网页内容添加格式 方法一: # -*- coding: utf-8 -*- """ requests结果集的css格式化处理 """python ## common/handle_markdown_style.py import sys, os base_path 阅读全文
posted @ 2021-03-17 20:01 ministep88 阅读(480) 评论(1) 推荐(0)
网站更新内容:请访问:https://bigdata.ministep.cn/