我的IT007

摘要： 栈 特性：先进后出的数据结构 栈顶，栈尾 应用：每个 web 浏览器都有一个返回按钮。当你浏览网页时，这些网页被放置在一个栈中（实际是网页的网址）。你现在查看的网页在顶部，你第一个查看的网页在底部。如果按‘返回’按钮，将按相反的顺序浏览刚才的页面。 Stack() 创建一个空的新栈。 它不需要参数， 阅读全文

摘要： 常见数据结构：栈 队列 双端队列 链表 二叉树 算法： 二分查找 冒泡 选择 快速排序 插入 希尔 排序二叉树 什么是计算机科学？ 首先明确的一点就是计算机科学不仅仅是对计算机的研究，虽然计算机在科学发展的过程中发挥了重大的作用，但是它只是一个工具，一个没有灵魂的工具而已。所谓的计算机科学实际上是对 阅读全文

摘要： redis NoSQL 学名（not only sql） 特点： 存储结构与mysql这一种关系型数据库完全不同，nosql存储的是KV形式 nosql有很多产品，都有自己的api和语法，以及业务场景 产品种类： Mongodb redis Hbase hadoop Nosql和sql的区别 应用场 阅读全文

摘要： pandas数据处理 使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True 使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为 阅读全文

摘要： 处理丢失的数据 数据的清洗 pandas的拼接操作 pandas的拼接分为两种： 级联：pd.concat, pd.append 合并：pd.merge, pd.join 使用pd.concat()级联 使用pd.concat()级联 使用pd.concat()级联 使用pd.concat()级联 阅读全文

摘要： pandas Series的创建 Series的创建 Series的创建 Series的创建 两种创建方式： 由列表或numpy数组创建 默认索引为0到N-1的整数型索引 还可以通过设置index参数指定索引 Series(data=[1,2,3]) Series(data=[1,2,3],inde 阅读全文

摘要： 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 数据分析三剑客：Numpy,Pandas,Matplotlib NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的 阅读全文

摘要： 增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 阅读全文

摘要： 基于crawlspider 的 爬虫 阳光投诉网 CrawlSpider的全站数据爬取 - CrawlSpider就是另一种形式的爬虫类。CrawlSpider就是Spider的一个子类 - 创建一个基于CrawlSpider的爬虫文件： - scrapy genspider -t crawl sp 阅读全文

摘要： 11 分布式 1pip install scrapy-redis 2创建爬虫文件 3修改爬虫文件 setting 配置 item .py 文件 阅读全文