LynHou

导航

2018年2月1日 #

Python之爬虫的理解

摘要: # -*- coding: utf-8 -*- 中文用户一定先用这行来声明编码方式 爬虫: 爬虫是自动访问互联网,并且提取数据的程序 (从网络上获取非结构化的数据,ETL将这些数据转换为结构化数据存储,然后做分析挖掘) 爬虫的核心,是页面规律的探索和反爬机制的处理 爬虫的价值,互联网数据为我所用 轻 阅读全文

posted @ 2018-02-01 13:46 LynHou 阅读(177) 评论(0) 推荐(0) 编辑

Python之Scripy框架

摘要: 为什么要用到cmd界面 在这里操作的是Scripy框架的指令,不是Python代码 Parse Scripy的回调函数 fiddler 用于爬取JS存储数据的页面 项目: 1. 创建一个scrapy项目 cmd--进入scrapy.exe目录--scrapy startproject TestScr 阅读全文

posted @ 2018-02-01 11:24 LynHou 阅读(1000) 评论(0) 推荐(0) 编辑

Python之python的一些理解

摘要: 应用领域: 1. 网络爬虫 2. 大数据分析与挖掘 3. 机器学习 4. web应用 5. 游戏开发 6. 自动化运维 入门学习网站: imooc,廖雪峰,黑马 环境变量 就是告诉电脑,你的程序安装在什么地方(.exe文件能被执行到) 也即在命令行下输入python时,能够被找到 python sh 阅读全文

posted @ 2018-02-01 10:59 LynHou 阅读(101) 评论(0) 推荐(0) 编辑

Python之sqlite3

摘要: Python3内置了sqlite SQLite是一个软件库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎 是在世界上最广泛部署的 SQL 数据库引擎 SQLite 源代码不受版权限制 下载安装: http://www.sqlite.org/download.html sqli 阅读全文

posted @ 2018-02-01 10:49 LynHou 阅读(156) 评论(0) 推荐(0) 编辑

Python之Pandas的一些理解

摘要: Pandas的功能: 1. 结构化的数据分析; 相比excel,可以处理更大量的数据和更好的性能 2. 对数据的清洗 阅读全文

posted @ 2018-02-01 10:42 LynHou 阅读(112) 评论(0) 推荐(0) 编辑