12 2019 档案
爬取tieba的APP点赞等数据
摘要:接口一: kw是贴吧名:剑网3 pnum是页号 返回json数据如下,可以从中取reply_num、agree_num、share_num、view_num 接口二: 阅读全文
posted @ 2019-12-31 16:11 凌度 阅读(399) 评论(0) 推荐(0)
爬取douyin
摘要:抖音音乐排行榜 https://www.iesdouyin.com/web/api/v2/hotsearch/billboard/music/ 抖音用户主页 点击某个用户-》右上角的三个点-》箭头图标(转发)-》分享到(复制链接) 获取到如下地址:https://v.douyin.com/VCd5X 阅读全文
posted @ 2019-12-31 14:38 凌度 阅读(2688) 评论(0) 推荐(0)
数据仓库和数据湖
摘要:早期的数据库系统的设计目标是事务处理。数据库系统是为记录更新和事务处理而设计,数据的访问的特点是基于主键,大量原子,隔离的小事务,并发和可恢复是关键属性,最大事务吞吐量是关键指标,因此数据库的设计都反映了这些需求。 数据仓库的设计目标是决策支持。历史的,摘要的,聚合的数据比原始的记录重要的多。查询负 阅读全文
posted @ 2019-12-18 10:45 凌度 阅读(1288) 评论(0) 推荐(0)
通过mitmproxy爬取APP的数据
摘要:安装: https://mitmproxy.org/ 小米安装证书 设置-》系统安全-》从存储设备安装-》选择*.pem文件 模拟器安装证书 (请从C:\Users\John\.mitmproxy中拷贝): 设置-》系统安全-》从SD卡安装证书-》选择*.pem文件(mitmproxy-ca-cer 阅读全文
posted @ 2019-12-12 16:25 凌度 阅读(907) 评论(0) 推荐(0)
linux下检查网络连通情况
摘要:MTR是一种简单的跨平台命令行网络诊断工具,它将常用的traceroute和ping程序的功能组合到一个工具中。 与traceroute类似, mtr输出关于数据包从运行mtr的主机到用户指定的目标主机的路由信息​​。 mtr -r -c 5 210.242.246.57 第一列:显示的是IP地址和 阅读全文
posted @ 2019-12-11 16:39 凌度 阅读(1868) 评论(0) 推荐(0)