随笔分类 -  Python

Python的配置文件模块yaml的使用
摘要：转自：君惜丶 简述 和GNU一样，YAML是一个递归着说“不”的名字。不同的是，GNU对UNIX说不，YAML说不的对象是XML。 YAML不是XML。 为什么不是XML呢？因为： YAML的可读性好。 YAML和脚本语言的交互性好。 YAML使用实现语言的数据类型。 YAML有一个一致的信息模型。 阅读全文
posted @ 2018-07-13 17:32 taolusi 阅读(2707) 评论(0) 推荐(0)
Python通过pandas将多个csv文件进行合并
摘要：在将多个csv文件拼接到一起的时候，可以用Python通过pandas包的read_csv和to_csv两个方法来完成。 这里不采用pandas.merge()来进行csv的拼接，而只是通过简单的文件的读取和附加方式的写入来完成拼接。 阅读全文
posted @ 2018-07-11 10:05 taolusi 阅读(31414) 评论(1) 推荐(0)
Python爬取javascript(js)动态网页
摘要：转自：自由爸爸，iceblue iceblue，王阳阳 详细内容请参考：Selenium-Python中文文档 python有许多库可以让我们很方便地编写网络爬虫，爬取某些页面，获得有价值的信息！但许多时候，爬虫取到的页面仅仅是一个静态的页面，即网页 的源代码，就像在浏览器上的“查看网页源代码”一样 阅读全文
posted @ 2018-07-09 10:30 taolusi 阅读(40036) 评论(0) 推荐(0)
Python的os模块的一些常见文件和目录操作
摘要：转自：极客学院 Python 的 os 模块封装了常见的文件和目录操作，本文只列出部分常用的方法，更多的方法可以查看官方文档。 下面是部分常见的用法： 例子 后文的例子以下面的目录结构为参考，工作目录为 /Users/ethan/coding/python。 看看例子： os.path.abspat 阅读全文
posted @ 2018-07-08 12:38 taolusi 阅读(381) 评论(0) 推荐(0)
Python简单多进程multiprocessing.Pool类
摘要：转自：伪·计算机科学家|真·码农 首先介绍一个简单粗暴，非常实用的工具，就是 multiprocessing.Pool。如果你的任务能用 ys = map(f, xs) 来解决，大家可能都知道，这样的形式天生就是最容易并行的，那么在 Python 里面并行计算这个任务真是再简单不过了。举个例子，把每 阅读全文
posted @ 2018-07-08 12:13 taolusi 阅读(2547) 评论(0) 推荐(0)
Python lambda的用法
摘要：转自：另一个自己 匿名函数lambda的用法 Python中，lambda函数也叫匿名函数，及即没有具体名称的函数，它允许快速定义单行函数，类似于C语言的宏，可以用在任何需要函数的地方。这区别于def定义的函数。 lambda与def的区别： 1）def创建的方法是有名称的，而lambda没有。 2 阅读全文
posted @ 2018-07-08 11:56 taolusi 阅读(357) 评论(0) 推荐(0)
BeautifulSoup通过lxml解析页面造成信息丢失的解决方法
摘要：在爬新浪财经的股吧评论的时候，使用第三方解析器lxml时出现了信息丢失的问题： 通过search，发现是通过lxml来解析页面时出现的问题。因此换用另一个解析器：html5lib，此解析器速度较慢，但容错性最好。 关于各种解析器的介绍可以看一下Beautiful Soup的中文文档 阅读全文
posted @ 2018-07-07 22:21 taolusi 阅读(850) 评论(0) 推荐(0)
python中pandas库中DataFrame对行和列的操作使用方法
摘要：转自：晓东邪 用pandas中的DataFrame时选取行或列： 下面是简单的例子使用验证： 阅读全文
posted @ 2018-07-06 15:42 taolusi 阅读(15480) 评论(0) 推荐(0)
Python使用pdb进行调试
摘要：转自：JefferyZh和IBM 在命令行使用参数进入调试 运行 运行python -m pdb test.py 几个关键命令 断点设置 (Pdb)b 10 #断点设置在本py的第10行 或(Pdb)b ots.py:20 #断点设置到 ots.py第20行 删除断点（Pdb）b #查看断点编号 ( 阅读全文
posted @ 2018-07-05 14:40 taolusi 阅读(1634) 评论(0) 推荐(0)