筱筱的春天

摘要： 1. Pycharm是什么？ Pycharm 是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理，代码跳转，只能提示，自动完成，单元测试、脚本控制。此外，该IDE提供了一些高级功能，用于支持Django框架下的专业W 阅读全文

摘要： 我们在用python开发的时候，随着开发应用的增多，比如这个项目用django开发后台，之后又用scrapy来开发爬虫应用等，如果不用虚拟环境这些软件包都会被放到python的site-package目录下，为了项目整洁最好给每个项目各自创建一个独立的python虚拟环境。 1.pip instal 阅读全文

摘要： 1.Scrapy是蜘蛛爬虫框架，我们用蜘蛛来获取互联网上的各种信息，然后再对这些信息进行数据分析处理。 2.Scrapy的组成 引擎：处理整个系统的数据流处理，出发事务 调度器: 接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回 下载器: 下载网页内容，并将网页内容返回给蜘蛛 蜘蛛: 蜘 阅读全文

摘要： 1.官网下载python安装包（eg:python-3.6.3-embed-win32）,并解压文件 2.配置环境变量 3.cmd里查看python版本并设置服务路径 4. 访问查看 阅读全文

摘要： 1.初识Scrapy Scrapy是为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或者存储历史数据等一系列的程序中。 2.选择一个网站 当需要从某个网站获取信息时，但该网站未提供API或者能通过程序获取信息的机制时，Scapy可以助你一臂之力。 3.定义想抓去的数 阅读全文

摘要： 1.什么是war文件？ 如果一个Web应用程序的目录和文件非常多，那么将这个Web应用程序部署到另一台机器上，就不是很方便了，我们可以将Web应用程序打包成Web归档（WAR）文件。这个过程和把Java类文件打包成jar文件的过程类似。利用WAR文件可以把Servlet类文件和相关的资源集中在一起进 阅读全文

摘要： 1.登录 $ ssh username@ip ssh 是Secure Shell的缩写，是建立在应用层基础上的安全协议。ssh是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用ssh协议可以有效防止远程管理过程中的信息泄露问题。 2.Linux命令 文件和目录 cd /home 进入 阅读全文

摘要： 1.基本的爬虫工作原理 ①）网络爬虫定义，又称Web Spider，网页蜘蛛，按照一定的规则，自动抓取网站信息的程序或者脚本。 蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到网页中的其他链接地址， 然后通过这些链接地址寻找下一个网页，直到把这个额昂展所有的网页都抓取完为 阅读全文

摘要： 1) 点 （.）去匹配任意字符的时候，不能匹配换行符 在这个模式中(?:.|\n)是指定了一个非捕获组（仅仅用来做匹配，部能通过单独捕获或者编号的组） 2) re.DOTALL re.compile()函数接受一个标志参数叫re.DOTALL,在这里非常有用，它可以让正则表达式中的点（.）匹配包括换 阅读全文

摘要： 用正则表达式匹配某个文本模式 1.只取双引号内的值 2.长短匹配模式对比 贪婪模式： 模式r'\"(.*)\" '的意图是匹配被双引号包含的文本，但是这个表达式中*是贪婪的，因此匹配操作会查找最长的可能匹配。 非贪婪模式： 模式r'\"(.*？)\" ' 可以强制匹配算法改成寻找最短的可能匹配。 1 阅读全文