摘要:数据分析 什么是数据分析? 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析经典案例 (一)啤酒与尿布 沃尔玛在对消费者购物行为分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤 阅读全文
posted @ 2020-09-24 17:39 永琪 阅读(4) 评论(0) 推荐(0) 编辑
摘要:今天项目部署测试:手动导入太麻烦写了个自动化导入如例(补充前文): import pip from subprocess import call f= open("boke.txt") for dist in f.readlines(): #print(dist,end="") call("pip 阅读全文
posted @ 2020-09-18 19:47 永琪 阅读(5) 评论(0) 推荐(0) 编辑
摘要:数据结构与算法 算法概述 算法-前序 ​x 1 【1】Everybody!全场动作必须跟我整齐划一,来,我们一起来做一道题 2 若n1+n2+n3=1000,且n1^2+n2^2=n3^2(n1,n2,n3为自然数),求出所有n1、n2、n3可能的组合 3 ​ 4 【2】解题思路 5 n1 = 0 阅读全文
posted @ 2020-09-18 17:31 永琪 阅读(7) 评论(0) 推荐(0) 编辑
摘要:django-Xadmin替换admin 1、下载: 下载地址:https://github.com/sshwsfc/xadmin/tree/django2 2、安装 用pip 安装下载的包 sudo pip3 install xadmin~=2.0 或打开项目路径(如图:forum项目路径): 3 阅读全文
posted @ 2020-09-18 14:58 永琪 阅读(6) 评论(0) 推荐(0) 编辑
摘要:Day01 1. 大数据简介 1.1 大数据的由来 1 随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网、物联网建设的加快,信息更是爆炸式增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题 1.2 什么是大数据 xxx 阅读全文
posted @ 2020-09-16 14:32 永琪 阅读(11) 评论(0) 推荐(0) 编辑
摘要:实现分布式爬虫:1、原理:多台主机共享一个爬取队列2、实现:利用redis中集合,重写scrapy的调度器,使用scrapy_redis模块实现3、为什么使用redis 3.1》redis基于内存,快 3.2》redis中有集合数据类型,可以自动去重,存储每个请求的指纹4、最终如何实现 4.1》先写 阅读全文
posted @ 2020-09-15 20:35 永琪 阅读(8) 评论(0) 推荐(0) 编辑
摘要:1. 安装JDK 1.1 JDK安装步骤 下载JDK安装包(下载Linux系统的 .tar.gz 的安装包) https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 更新Ubuntu源 sudo apt-g 阅读全文
posted @ 2020-09-15 20:30 永琪 阅读(17) 评论(0) 推荐(0) 编辑
摘要:远程连接Redis配置流程 配置流程 xxxxxxxxxx 10 1 【1】修改配置文件 2 sudo gedit /etc/redis/redis.conf 3 修改如下2个内容后保存退出: 4 # bind 127.0.0.1 ::1 把此行注释掉 5 protected-mode no 把默认 阅读全文
posted @ 2020-09-14 17:25 永琪 阅读(24) 评论(0) 推荐(0) 编辑
摘要:回顾 scrapy框架 五大组件+工作流程+常用命令 x 1 【1】五大组件 2 1.1) 引擎(Engine) 3 1.2) 爬虫程序(Spider) 4 1.3) 调度器(Scheduler) 5 1.4) 下载器(Downloader) 6 1.5) 管道文件(Pipeline) 7 1.6) 阅读全文
posted @ 2020-09-14 17:24 永琪 阅读(14) 评论(0) 推荐(0) 编辑
摘要:scrapy框架 Scrapy框架五大组件 xxxxxxxxxx 12 1 【1】引擎(Engine) 整个框架核心 2 【2】爬虫程序(Spider) 数据解析提取 3 【3】调度器(Scheduler) 维护请求队列 4 【4】下载器(Downloader) 获取响应对象 5 【5】管道文件(P 阅读全文
posted @ 2020-09-14 17:22 永琪 阅读(11) 评论(0) 推荐(0) 编辑