2019年9月2日
对于多进程和多线程的理解（待补充）
摘要： 1、概念 先来说说概念。说到并发的概念就要先构建对多任务编程的认识。多任务编程的意义是充分利用计算机多核资源，提高程序的运行效率。实现方式有并发和并行两种。 并发：同时处理多个任务，内核在任务间不断的切换达到好像多个任务被同时执行的效果，实际每个时刻只有一个任务占有内核。 并行：多个任务利用计算机多 阅读全文
posted @ 2019-09-02 00:05 Data_worker 阅读(518) 评论(0) 推荐(0)
2019年9月1日
numpy数组对象的维度操作
摘要： 1、视图变维（数据共享）：reshape()与ravel() 改变a，b，c，d中任何一个数组，其他数组都会发生变化，原因是b，c，d都是a的视图，数据指向的是a的地址，并没有重新开辟内存保存数据。 2、复制变维（数据独立）：flatten()与copy() flatten()也是将多维数组变成一维 阅读全文
posted @ 2019-09-01 13:36 Data_worker 阅读(1653) 评论(0) 推荐(0)
2019年8月29日
pandas中Series对象和DataFrame对象的索引
摘要： 1、Series 可以直接用Series['索引名']：obj['a'] 也可以使用obj.a loc和iloc同样适用 2、DataFrame 使用DataFrame['列索引名']或者DataFrame.列索引名：frame['a']或frame.a 行索引使用loc：frame.loc['on 阅读全文
posted @ 2019-08-29 10:50 Data_worker 阅读(1075) 评论(0) 推荐(0)
pandas的排序、排名函数——sort_index()、sort_values()、rank()
摘要： 1、sort_index() 按索引进行排序，可以指定按行索引还是列索引，默认按行索引排序（axis=0）：frame.sort_index(axis=0) 按列索引（axis=1）：frame.sort_index(axis=1)，可选ascending参数，False为降序，默认为升序。 2、s 阅读全文
posted @ 2019-08-29 09:57 Data_worker 阅读(3439) 评论(0) 推荐(0)
2019年8月28日
pandas中的map()、apply()、applymap()函数的区别
摘要： 它们的区别就在于应用对象的不同 1、map map()是Series对象的一个函数，DataFrame中没有map()，map()的功能是将一个自定义函数作用于Series对象的每个元素。 eg： 现在使用map()函数来将data1这一列的数据改为保留三位小数显示 运行结果： 2、apply ap 阅读全文
posted @ 2019-08-28 23:13 Data_worker 阅读(15993) 评论(4) 推荐(2)
2019年8月18日
爬虫数据持久化的几种常用方法
摘要： 1、txt 用普通的磁盘IO操作即可 2、csv 需注意单条数据写入的参数格式是列表，多条数据写入的参数格式是列表嵌套元组，推荐使用多条数据一次性写入，效率高。 3、json：使用json模块中的dump函数 4、数据库：MySQL、MongoDB、Redis 存入MySQL： 存入MongoDB： 阅读全文
posted @ 2019-08-18 13:58 Data_worker 阅读(581) 评论(0) 推荐(0)
Ubuntu、Python、pycharm使用过程中问题解决方法笔记
摘要： 1、关于pycharm导入lxml时无法导入etree的问题： 出现问题时我导入的是lxml 3.5.1版本，无法通过from lxml import etree导入etree，从网上百度了很多还是没法解决，于是我尝试卸载lxml，再从终端使用sudo pip3 install lxml安装lxml 阅读全文
posted @ 2019-08-18 11:10 Data_worker 阅读(692) 评论(1) 推荐(0)