随笔分类 -  python学习日志

上一页 1 2 3 4 下一页
Python 结巴分词(2)关键字提取
摘要:提取关键字的文章是,小说完美世界的前十章; 我事先把前十章合并到了一个文件中; 然后直接调用关键字函数; 关键字结果: 阅读全文
posted @ 2016-07-18 20:37 细雨微光 阅读(8998) 评论(0) 推荐(1)
Python 结巴分词(1)分词
摘要:利用结巴分词来进行词频的统计,并输出到文件中。 结巴分词github地址:结巴分词 结巴分词的特点: 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确模式的基础上,对长词再次切 阅读全文
posted @ 2016-07-18 13:47 细雨微光 阅读(12521) 评论(0) 推荐(0)
python(19)编码问题
摘要:转载链接:http://blog.csdn.net/lxdcyh/article/details/4018054 python的编码问题,一直都让人很头疼,今天就整理下python的编码知识。 首先:字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作 阅读全文
posted @ 2016-07-15 17:45 细雨微光 阅读(368) 评论(0) 推荐(0)
git(5) windows下 pycharm + git(github) ,在本地方便管理
摘要:本篇博客讲解一下,windows下如何在pycharm下使用git(使用github设置和git一样),在本地进行commit,push,pull等操作 优点:简单,方便 pycharm版本:5.0.3(不同的版本选项分布有所不同) 服务器:阿里云服务器,git在服务器上面 首先第一步你要安装pyc 阅读全文
posted @ 2016-07-05 20:32 细雨微光 阅读(10846) 评论(0) 推荐(0)
redis使用日志(二) 数据存储到redis
摘要:一段简短的代码,来展示如何把爬取内容写到redis里面: 结果如下: 阅读全文
posted @ 2016-07-05 14:06 细雨微光 阅读(5539) 评论(0) 推荐(0)
python (18)在linux中如何实现定时发送邮件到指定邮箱,监测任务
摘要:最近要用到,定时发送邮件功能: 如何定时,当然要用到linux中crontab了 如下的代码能够定时发送邮件 1 #!/usr/bin/env python 2 # -*- coding=utf-8 -*- 3 import smtplib 4 from email.mime.text import 阅读全文
posted @ 2016-06-27 18:50 细雨微光 阅读(2719) 评论(0) 推荐(2)
python (16) 如何在linux下安装lxml(pip安装,ubuntu下,centos下)
摘要:首先需要明白lxml包依赖其他包,必须先安装其他包然后再安装lxml 安装python-pip:方便安装python的第三方包 [root@******/]# wget https://bootstrap.pypa.io/get-pip.py --no-check-cert [root@****** 阅读全文
posted @ 2016-06-14 10:16 细雨微光 阅读(3056) 评论(0) 推荐(0)
python(15)提取字符串中的数字
摘要:python 提取一段字符串中去数字 ss = "123ab45" 得到:12345 or 123,45 方法一:filter filter() 函数用于过滤序列,过滤掉不符合条件的元素,返回由符合条件元素组成的新列表。 该接收两个参数,第一个为函数,第二个为序列,序列的每个元素作为参数传递给函数进 阅读全文
posted @ 2016-06-01 18:42 细雨微光 阅读(133029) 评论(5) 推荐(5)
python(14)类,方法,对象,实例
摘要:类: 简单来说就是一个函数的集合,在这个集合里面你定义了很多个函数; 方法:其实就是你定义的这些函数。 对象:简单来说就是自身具有多个属性(也可以说是子变量)的变量而已。 在下面的例子中class Plus就是一个类,嵌套在这个类里面的两个函数就是所谓的方法,但是__init__只是用于初始化这个类 阅读全文
posted @ 2016-04-21 16:20 细雨微光 阅读(479) 评论(0) 推荐(0)
python(13)多线程:线程池,threading
摘要:python 多进程:多进程 先上代码: 示例代码: 什么是线程池? 诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简 单的模型是:每当一个请求到达就创建一个新的服务对象,然后在新的服务对象中为请求服务。 阅读全文
posted @ 2016-04-20 11:07 细雨微光 阅读(9131) 评论(0) 推荐(0)
python(12)给文件读写上锁
摘要:目的:当我们用脚本去爬取数据或者向文件中写数据的时候,有时候需要两个或者多个脚本同时向一个文件中读写 于是乎就会出现写乱的情况,于是乎我们就需要把正在写的文件先锁起来,只让当前的写,写完后再释放 代码: 阅读全文
posted @ 2016-04-08 09:33 细雨微光 阅读(2429) 评论(0) 推荐(0)
python (11)文件的读写 按行读文件
摘要:读文件: 按行读文件: 读取文件报错: f1=open("fenci_result.txt",'r') UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation by 阅读全文
posted @ 2016-03-28 17:06 细雨微光 阅读(686) 评论(0) 推荐(0)
python (10) 文件夹的创建与文件夹的删除
摘要:有时需要在代码中对文件或者文件夹 进行删除,或者添加 导入的包:import os,shutil 主要涉及到三个函数 1、os.path.exists(path) 判断一个目录是否存在 2、os.makedirs(path) 多层创建目录 3、os.mkdir(path) 创建目录 阅读全文
posted @ 2016-03-18 14:06 细雨微光 阅读(724) 评论(0) 推荐(0)
python (9)统计文件夹下的所有文件夹数目、统计文件夹下所有文件数目、遍历文件夹下的文件
摘要:命令:os 用到的:os.walk os.listdir 写的爬虫爬的数据,但是又不知道进行到哪了,于是就写了个脚本来统计文件的个数 #统计 /home/dir/ 下的文件夹个数 import os path ="home/dir" count = 0 for fn in os.listdir(pa 阅读全文
posted @ 2016-03-18 13:22 细雨微光 阅读(21669) 评论(0) 推荐(1)
python(17) 获取acfun弹幕,评论和视频信息
摘要:每天一点linux命令:新建文件夹 一,使用python获得acfun的所有番剧的信息,评论,弹幕 阅读全文
posted @ 2016-03-15 10:44 细雨微光 阅读(1115) 评论(0) 推荐(0)
python(8) 自己制造异常让程序退出,把print的内容写入到文件
摘要:异常 也可以自己输出异常原因: raise Exception("404 404 404") 运行结果:自己定义的异常 自动结束 输入内容:由此说明,print 一下写入一下,而不是最后一块写入(注:抛出的异常不会写到file.txt中) 阅读全文
posted @ 2016-03-15 10:43 细雨微光 阅读(1163) 评论(0) 推荐(0)
python (7)读取整个目录的所有文件夹并存入
摘要:一,提取出来一个文件夹中的所有文件名并存入到txt文件中 1 import os 2 import sys 3 reload(sys) 4 sys.setdefaultencoding('utf-8') 5 path = '/opt/vdb/wcg/AcFun' 6 f=open('info.jso 阅读全文
posted @ 2016-03-08 15:30 细雨微光 阅读(823) 评论(0) 推荐(0)
python(6)时间戳和北京时间互转,输出当前的时间和推到七天前的日期
摘要:项目发展的需要:(包含时间函数)time datetime 时间戳和北京时间互转 1 import time 2 import datetime 3 s = '2015-04-17 11:25:30' 4 d = datetime.datetime.strptime(s,"%Y-%m-%d %H:% 阅读全文
posted @ 2016-02-29 11:45 细雨微光 阅读(3832) 评论(0) 推荐(0)
python(5)字符串处理 (sub,replace,find,index,upper,strip,split,sub翻页
摘要:一,sub和replace的用法 re.sub 函数进行以正则表达式为基础的替换工作 re.sub替换到目标字符串中的a,b或者c,并全部替换 另加上sub翻页操作: replace 用法介绍: 二,find和index的用法 index,find 返回的都是找到的字符串的下标;find如果找不到返 阅读全文
posted @ 2016-01-28 18:53 细雨微光 阅读(5597) 评论(0) 推荐(0)
python(4) 小程序-异步加载
摘要:注:处理异步加载需要模拟浏览器登陆,然后用import json,用loads解析 例如: 代码: 效果图: 阅读全文
posted @ 2016-01-20 15:07 细雨微光 阅读(388) 评论(0) 推荐(0)

上一页 1 2 3 4 下一页