网站更新内容:请访问: https://bigdata.ministep.cn/
摘要: 今天想聊一聊学习这个话题,理想情况下,每个人都应该有适合自己的一套学习方法和节奏,主要因为不同人对知识的理解和吸收速度不一样,举个非常简单的例子,在网上看视频或者电影,有些人觉得2倍速播放刚刚好,而有些人甚至还要降速才能看明白,才能Get到点。即便如此,我觉得有些学习的经验和方法是可以共享的,虽然它 阅读全文
posted @ 2022-02-09 19:56 ministep88 阅读(416) 评论(0) 推荐(0)
摘要: puppeteer 基础用法 const moment = require('moment');const puppeteer = require('puppeteer');const chalk = require('chalk');const log = console.log;​​date = 阅读全文
posted @ 2022-02-09 19:55 ministep88 阅读(385) 评论(0) 推荐(0)
摘要: 循环获取items元素 以掘金示例 获取掘金首页的items元素 页面:掘金] 目的:获取items的元素的点赞数和分享数 js示例 doc = document.querySelector("#juejin > div.view-container.container > main > div > 阅读全文
posted @ 2022-02-09 19:55 ministep88 阅读(336) 评论(0) 推荐(0)
摘要: Jupyter-nodejs 安装 jupyter 是web的编辑器,直接多种内核,默认支持python; nodejs支持 Windows (Anaconda Distribution) 省 macOS In macOS, Homebrew and pip can be used to insta 阅读全文
posted @ 2022-02-09 19:54 ministep88 阅读(387) 评论(0) 推荐(0)
摘要: 版本控制 github 如何使用 注册github git安装 git配置 github,创建SSHkey,后续可以不用输入账号 git使用 克隆仓库 在Git上输入这个,克隆仓库到本地 git clone git@github.com:fenyukuang/TestCode.git 基础使用 $ 阅读全文
posted @ 2022-02-09 19:53 ministep88 阅读(75) 评论(0) 推荐(0)
摘要: javascript 引用文件 javascript 引用文件 // config.jsconst path = require('path');path_dir = path.resolve('./')var config = { 'config_getcwd_path':path_dir };m 阅读全文
posted @ 2022-02-09 19:53 ministep88 阅读(161) 评论(0) 推荐(0)
摘要: mac的crontab 调度 mac的cron mac的cron调度默认是从分钟开始,没有秒,这点要注意; mac的cron调用python 即使安装了anaconda ,环境变量base 是 anaconda 默认的python,但是在cron 调度仍然使用mac系统自带的python macOS 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(199) 评论(0) 推荐(0)
摘要: mac下mysql修改环境变量 打开终端, 输入 cd ~ 进入~文件夹 输入命令:sudo vim .bash_profile 输入root用户密码后,进入环境变量 在文档的最下方输入:export PATH=${PATH}:/usr/local/mysql/bin 然后esc退出insert状态 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(84) 评论(0) 推荐(0)
摘要: dataframe可视化操作 pyplot express 示例 ## 使用pyplot expressimport plotly_express as pxfig = px.scatter(df_v1, x="ds", y="订单组数")fig.update_yaxes(rangemode="to 阅读全文
posted @ 2022-02-09 19:51 ministep88 阅读(274) 评论(0) 推荐(0)
摘要: Python将hive的table表转成dataframe 一步到位,代码如下: from pyhive import hiveimport pandas as pddef hive_read_sql(sql_code): connection = hive.Connection(host='10. 阅读全文
posted @ 2022-02-09 19:50 ministep88 阅读(459) 评论(0) 推荐(0)
摘要: 60分钟内连续购买 背景,需要统计下单老板,在60分钟内是否有多个大神提供服务,运营针对性做活动,方便老板下单; SQL思路 step1 解析 用户肯能对一个大神重复下单,因此先聚合; 使用笛卡尔积,一对多实现,用户下单时间差; 代码统计如下 with tmp_da_trade_order as ( 阅读全文
posted @ 2022-02-09 19:35 ministep88 阅读(306) 评论(0) 推荐(0)
摘要: SQL在业务中使用if存在的问题 if(true,'1','0') 在sql中 if 是非此即彼的选择,因此使用时需要注意业务问题: 举例: 判断用户是否新注册或者老注册用户 select tb.*,if(t_user.user_id is not null,'新注册用户','老注册用户') as 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(187) 评论(0) 推荐(0)
摘要: with-SQL 语句使用 With 暂时不支持在Mysql中使用,但是可以在hive,odps中使用; with 语句的有点: with 语句相当于建立了一张临时虚拟表,但是不会被物理创建; with 语句,可以将业务接耦,每一个with语句,单独成为一个子模块,最后使用基础表将它们串联起来; 示 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(526) 评论(0) 推荐(0)
摘要: SQL的case when 不可重叠; SQL的case when 其子条件是互斥的,如果存在重叠,就会优先排定前面的; 如果需要重叠,暂时就不用case when ,可以直接用union all 解决; BUG 重现; select * ,case when ds between '2020112 阅读全文
posted @ 2022-02-09 19:33 ministep88 阅读(1727) 评论(0) 推荐(0)
摘要: SQL编辑器 SQL编辑器重点推荐navicat编辑器,文末附上mac,wins下载地址; 关于 Navicat “Navicat”是一套可创建多个连接的数据库管理工具,用以方便管理 MySQL、Oracle、PostgreSQL、SQLite、SQL Server、MariaDB 和/或 Mong 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(2534) 评论(0) 推荐(0)
摘要: 运营需求拆解: 单一复购率公式(按周计算,需要计算从4.1-8.4的数据): 分子:本周和上周对同一商户都下过单的人数 分母:上周下过订单的总人数 注:需要考虑到可疑订单,即刷单的状况 需求拆解:难点在与分子计算; 需求进一步拆解:本周和上周对同同一商户下过单,则可以理解为用户的复购; 可以把用户和 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(1032) 评论(0) 推荐(0)
摘要: 用户在IM首次发送消息,到接收消息的时效问题? 场景:响应时效问题 示例 解决办法: 按照group组 和 type 分组,选取rn=1就可以圈定 首次发送和首次接收问题; 使用lead函数,即可获取下一次回复时间 答案如下 select ds ,type ,msg_timedate ,msgtim 阅读全文
posted @ 2022-02-09 19:31 ministep88 阅读(128) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2022-02-09 19:30 ministep88 阅读(0) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2022-02-09 19:29 ministep88 阅读(0) 评论(0) 推荐(0)
摘要: SQL经典面试题-连续3天登陆 【SQL经典面试题系列】前段时间六师妹去某团面试,回来后一直郁郁寡欢。好奇心下得知,原来是面试官要求小六用sql实现手写“连续3天登录用户”代码。这个问题虽然说难不难,但说易也不简单,而且,偏受大小厂喜欢。其实,不管是数仓/ETL/BI/数据分析/大数据等方向,都会经 阅读全文
posted @ 2022-02-09 19:27 ministep88 阅读(570) 评论(0) 推荐(0)
摘要: vscode 配置python环境 默认的vscode环境有可能和 mac自带的python环境不一致,需要主动配置; 系统已经安装了:anaconda3 Step1: vscode配置json文件 vscode中选择文件-首选项-设置 配置json文件 { ... 其他用户配置选项 "files. 阅读全文
posted @ 2022-02-09 19:23 ministep88 阅读(545) 评论(0) 推荐(0)
摘要: vscode服务器同步 sftp插件 vscode 安装sftp插件 安装插件 Ctrl + Shift + P输入 sftp:config (打开指定目录,选择目录; 然后再次Ctrl + Shift + P输入 sftp:config,自动创建会在本地生成一个【.vscode】文件夹,里面有一个 阅读全文
posted @ 2022-02-09 19:22 ministep88 阅读(406) 评论(0) 推荐(0)
摘要: tableau 破解 1.下載 Tableau 原版軟件 (Tableau公司網站),只有64位版 2018.1.3 版 https://downloads.tableau.com/esdalt/2018.1.3/TableauDesktop-64bit-2018-1-3.exe 10.5.6 版 阅读全文
posted @ 2022-02-09 19:22 ministep88 阅读(2711) 评论(0) 推荐(0)
摘要: SSH免密登录 终于有了一台自己的服务器,亦或者是接触新的领域的亢奋,但是当执行了几十次的时候,心里应该就有点烦躁了,卧X,每次都要输入ip、密码,或者CV过来,好麻烦啊! 作为一个”慵懒”的coder,这个时候就会寻找更方便的方式来登陆服务器。 使用ssh-keygen生成私钥和公钥 step1: 阅读全文
posted @ 2022-02-09 19:19 ministep88 阅读(98) 评论(1) 推荐(0)
摘要: 安装 brew install supervisor 配置文件地址 /usr/local/etc/supervisord.ini 由此可见,supervisor的主配置文件在/usr/local/etc/supervisord.ini,打开配置文件在最后一行可以修改新增子配置文件,默认在/usr/l 阅读全文
posted @ 2022-02-09 19:19 ministep88 阅读(469) 评论(0) 推荐(0)
摘要: 服务器虚拟环境执行 参考代码 #!/bin/bashexport PATH=$PATH:$HOME/anaconda3/binecho -n "开始执行爬虫"source activate base cd /Users/zhoujunqing/OneDrive/python/spyder_projd 阅读全文
posted @ 2022-02-09 19:18 ministep88 阅读(150) 评论(0) 推荐(0)
摘要: github 如何使用 注册github git安装 git配置 github,创建SSHkey,后续可以不用输入账号 git使用 克隆仓库 在Git上输入这个,克隆仓库到本地 git clone git@github.com:fenyukuang/TestCode.git 基础使用 $ git i 阅读全文
posted @ 2022-02-09 19:18 ministep88 阅读(59) 评论(0) 推荐(0)
摘要: 引言 CSDN博客的阅读体验至少有三点让人不爽: \1. 页面底部有登录注册的长条占地方(除非点叉号关掉)。 \2. 正文只显示一部分,需点击“阅读更多”按钮才能显示全文。 \3. 左侧广告轮播图碍眼(除非点叉号屏蔽)。 so : 哪里有需求,哪里就有解决 Chrome 网上应用点,搜索: csdn 阅读全文
posted @ 2022-02-09 19:16 ministep88 阅读(77) 评论(0) 推荐(0)
摘要: 综合考虑鼓掌、收藏、评论数据,盘点出了2021年PMCAFF最受欢迎的文章。分成了基础、B端、垂直深度、延展阅读4个部分。 如果你曾受益于某篇文章,欢迎评论谈谈感想和收获,为作者打call~ 也可以点进原文,给作者鼓个掌~ 基础 产品方案:我的PRD撰写规范 PRD文档范例,产品经理值得收藏的写作手 阅读全文
posted @ 2022-02-09 10:38 ministep88 阅读(223) 评论(0) 推荐(0)
网站更新内容:请访问:https://bigdata.ministep.cn/