WELCOME TO ivanlee717！！！！

摘要： 1、Python 中类方法、类实例方法、静态方法有何区别？ 类方法：是类对象的方法，在定义时需要在上方使用“@ classmethod”进行装饰，形参为 cls，表示类对象，类对象和实例对象都可调用 类实例方法：是类实例化对象的方法，只有实例对象可以调用，形参为 self，指代对象本身 静态方法：是 阅读全文

摘要： 1、描述下 scrapy 框架运行的机制？ 从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理： (1) 如果提取出需要的数据，则交给管道文件处理 阅读全文

摘要： bs4 - 数据解析的原理： - 1.标签定位 - 2.提取标签、标签属性中存储的数据值 - bs4数据解析的原理： - 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 - 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 bs4是 阅读全文

摘要： 爬虫 什么是爬虫： - 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 爬虫究竟是合法还是违法的？ 在法律中是不被禁止 具有违法风险 善意爬虫 恶意爬虫 爬虫带来的风险可以体现在如下2方面： - 爬虫干扰了被访问网站的正常运营 - 爬虫抓取了收到法律保护的特定类型的数据或信息 如何 阅读全文

摘要： 第一部分：数据类型处理 数据加载 字段含义： user_id:用户ID order_dt:购买日期 order_product:购买产品的数量 order_amount:购买金额 df = pd.read_csv('../data/CDNOW_master.txt',header=None,sep= 阅读全文

摘要： matplotlib plt.plot()绘制线性图 绘制单条线形图 绘制多条线形图 设置坐标系的比例plt.figure(figsize=(a,b)) 设置图例legend() 设置轴的标识 图例保存 fig = plt.figure() plt.plot(x,y) figure.savefig（ 阅读全文

摘要： pandas的级联和合并 级联操作 pd.concat, pd.append pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数： objs axis=0 keys join='outer' / 'inner':表示的是级联的方式，outer会将所有的项 阅读全文

摘要： 数据清洗 数据清洗是对一些没有用的数据进行处理的过程。 很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要对使数据分析更加准确，就需要对这些没有用的数据进行处理。 在这个教程中，我们将利用 Pandas包来进行数据清洗。 处理丢失数据 有两种丢失数据： None np.nan(N 阅读全文

摘要： 股票分析 需求：股票分析 使用tushare包获取某股票的历史行情数据。 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？ impo 阅读全文

摘要： pandas 为什么学习pandas numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！ 阅读全文