2018年12月19日

Top的VIRT是什么

摘要： Top命令监控某个进程的资源占有情况 下面是各种内存： VIRT：virtual memory usage 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量 RES：resident mem 阅读全文

posted @ 2018-12-19 21:25 ExplorerMan 阅读(1400) 评论(0) 推荐(0)

python的日志logging模块性能以及多进程

摘要： 写在前面： 日志是记录操作的一种好方式。但是日志，基本都是基于文件的，也就是要写到磁盘上的。这时候，磁盘将会成为一个性能瓶颈。对于普通的服务器硬盘（机械磁盘，非固态硬盘），python日志的性能瓶颈是多少呢？今天我们就来测一下。 测试代码如下： #! /usr/bin/env python#codi 阅读全文

posted @ 2018-12-19 17:23 ExplorerMan 阅读(1093) 评论(0) 推荐(0)

Python的多进程锁的使用

摘要： 很多时候，我们需要在多个进程中同时写一个文件，如果不加锁机制，就会导致写文件错乱 这个时候，我们可以使用multiprocessing.Lock() 我一开始是这样使用的： import multiprocessinglock = multiprocessing.Lock()class MatchP 阅读全文

posted @ 2018-12-19 17:04 ExplorerMan 阅读(2361) 评论(0) 推荐(0)

为什么python2.7中用Process创建子进程的语句之前必须加#if

摘要： from multiprocessing import Process import os def run(name): print 'The child process '%s' (pid %d) is running' % (name, os.getpid()) return print 'Th 阅读全文

posted @ 2018-12-19 15:55 ExplorerMan 阅读(473) 评论(0) 推荐(0)

python中为什么需要使用“if __name__ == '__main__'”语句

摘要： 首先用最简洁的语言来说明一下 if __name__ == '__main__': 的作用：防止在被其他文件导入时显示多余的程序主体部分。 先举个例子，如果不用 if __name__ == '__main__': 会发生什么事： 首先在yy.py中调用cs.py #yy.pyimport cspr 阅读全文

posted @ 2018-12-19 15:51 ExplorerMan 阅读(419) 评论(0) 推荐(0)

Python mutilprocess模块之第二种创建进程方法--继承Process类

摘要： '''创建新的进程的第二种方法： 使用类的方式，可以自己定义一个类，继承Process类，每次实例化这个类的时候， 就等于实例化一个进程对象 '''from multiprocessing import Processimport os, time # 定义一个类，继承Process类class D 阅读全文

posted @ 2018-12-19 15:47 ExplorerMan 阅读(990) 评论(0) 推荐(0)

python 使用multiprocessing需要注意的问题

摘要： 我们在编写程序的时候经常喜欢这样写代码 import MySQLdb import time from multiprocessing import Process conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xx‘, ‘test‘) def f(n 阅读全文

posted @ 2018-12-19 14:27 ExplorerMan 阅读(704) 评论(0) 推荐(0)

fasttext(1) -- 认识 fasttext 和 初步使用

摘要： fastText 的 Python接口：https://github.com/salestock/fastText.py (1) fasttext 简介：FastText是Facebook开发的一款快速文本分类器，提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。 fastTe 阅读全文

posted @ 2018-12-19 12:23 ExplorerMan 阅读(3650) 评论(0) 推荐(0)

fastText(三)：微博短文本下fastText的应用（二）

摘要： 上一篇讲到，fastText在训练数据中过拟合的问题。接下来将介绍一些提高fastText泛化能力的尝试。 模型泛化使用过fastText的人，往往会被它的很多特性征服，例如训练速度、兼具word embedding和分类等。但是正如一个硬币有正反两面，fastText也并非完美，fastText的 阅读全文

posted @ 2018-12-19 12:22 ExplorerMan 阅读(750) 评论(0) 推荐(0)

fastText(二)：微博短文本下fastText的应用（一）

摘要： 众所周知，微博中的内容以短文本居多，文本内容随意性极强，这给建模增加了很大的难度。针对这一问题，这里分享一下fastText在微博短文本的应用。 任务目标简单介绍一下整个任务的目标：给微博内容打上标签，例如美妆、宠物用品等。这类问题可以转化为经典的多分类问题。然而微博内容较短，并且文字随意性极强，这 阅读全文

posted @ 2018-12-19 12:21 ExplorerMan 阅读(967) 评论(0) 推荐(0)

fastText入门

摘要： 简介fastText是Facebook AI Research在2016年提出的文本分类和词训练的工具。它最大的特点：模型非常简单，训练速度快，并且能够达到与深度学习旗鼓相当的精度。 最近在做一个给微博内容分类的项目，主要目的是给微博打上商业标签。这个项目是一个经典的多分类任务，传统的方法包括：SV 阅读全文

posted @ 2018-12-19 12:19 ExplorerMan 阅读(727) 评论(0) 推荐(0)

python(一)：multiprocessing——死锁

摘要： 前言近年来，使用python的人越来越多，这得益于其清晰的语法、低廉的入门代价等因素。尽管python受到的关注日益增多，但python并非完美，例如被人诟病最多的GIL（值得注意的是，GIL并非python特性，它是在实现Python解析器(CPython)时所引入的一个概念，而CPython是大 阅读全文

posted @ 2018-12-19 12:18 ExplorerMan 阅读(1256) 评论(0) 推荐(0)

python（二）：使用multiprocessing中的常见问题

摘要： 简介在python的解释器中，CPython是应用范围最广的一种，其具有丰富的扩展包，方便了开发者的使用。当然CPython也不是完美的，由于全局解释锁（GIL）的存在，python的多线程可以近似看作单线程。为此，开发者推出了multiprocessing，这里介绍一下使用中的常见问题。 环境>> 阅读全文

posted @ 2018-12-19 12:16 ExplorerMan 阅读(549) 评论(0) 推荐(0)

Top的VIRT是什么

摘要： Top命令监控某个进程的资源占有情况 下面是各种内存： VIRT：virtual memory usage 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量 RES：resident mem 阅读全文

posted @ 2018-12-19 21:25 ExplorerMan 阅读(1400) 评论(0) 推荐(0)

python的日志logging模块性能以及多进程

摘要： 写在前面： 日志是记录操作的一种好方式。但是日志，基本都是基于文件的，也就是要写到磁盘上的。这时候，磁盘将会成为一个性能瓶颈。对于普通的服务器硬盘（机械磁盘，非固态硬盘），python日志的性能瓶颈是多少呢？今天我们就来测一下。 测试代码如下： #! /usr/bin/env python#codi 阅读全文

posted @ 2018-12-19 17:23 ExplorerMan 阅读(1093) 评论(0) 推荐(0)

Python的多进程锁的使用

摘要： 很多时候，我们需要在多个进程中同时写一个文件，如果不加锁机制，就会导致写文件错乱 这个时候，我们可以使用multiprocessing.Lock() 我一开始是这样使用的： import multiprocessinglock = multiprocessing.Lock()class MatchP 阅读全文

posted @ 2018-12-19 17:04 ExplorerMan 阅读(2361) 评论(0) 推荐(0)

为什么python2.7中用Process创建子进程的语句之前必须加#if

摘要： from multiprocessing import Process import os def run(name): print 'The child process '%s' (pid %d) is running' % (name, os.getpid()) return print 'Th 阅读全文

posted @ 2018-12-19 15:55 ExplorerMan 阅读(473) 评论(0) 推荐(0)

python中为什么需要使用“if __name__ == '__main__'”语句

摘要： 首先用最简洁的语言来说明一下 if __name__ == '__main__': 的作用：防止在被其他文件导入时显示多余的程序主体部分。 先举个例子，如果不用 if __name__ == '__main__': 会发生什么事： 首先在yy.py中调用cs.py #yy.pyimport cspr 阅读全文

posted @ 2018-12-19 15:51 ExplorerMan 阅读(419) 评论(0) 推荐(0)

Python mutilprocess模块之第二种创建进程方法--继承Process类

摘要： '''创建新的进程的第二种方法： 使用类的方式，可以自己定义一个类，继承Process类，每次实例化这个类的时候， 就等于实例化一个进程对象 '''from multiprocessing import Processimport os, time # 定义一个类，继承Process类class D 阅读全文

posted @ 2018-12-19 15:47 ExplorerMan 阅读(990) 评论(0) 推荐(0)

python 使用multiprocessing需要注意的问题

摘要： 我们在编写程序的时候经常喜欢这样写代码 import MySQLdb import time from multiprocessing import Process conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xx‘, ‘test‘) def f(n 阅读全文

posted @ 2018-12-19 14:27 ExplorerMan 阅读(704) 评论(0) 推荐(0)

fasttext(1) -- 认识 fasttext 和 初步使用

摘要： fastText 的 Python接口：https://github.com/salestock/fastText.py (1) fasttext 简介：FastText是Facebook开发的一款快速文本分类器，提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。 fastTe 阅读全文

posted @ 2018-12-19 12:23 ExplorerMan 阅读(3650) 评论(0) 推荐(0)

fastText(三)：微博短文本下fastText的应用（二）

摘要： 上一篇讲到，fastText在训练数据中过拟合的问题。接下来将介绍一些提高fastText泛化能力的尝试。 模型泛化使用过fastText的人，往往会被它的很多特性征服，例如训练速度、兼具word embedding和分类等。但是正如一个硬币有正反两面，fastText也并非完美，fastText的 阅读全文

posted @ 2018-12-19 12:22 ExplorerMan 阅读(750) 评论(0) 推荐(0)

fastText(二)：微博短文本下fastText的应用（一）

摘要： 众所周知，微博中的内容以短文本居多，文本内容随意性极强，这给建模增加了很大的难度。针对这一问题，这里分享一下fastText在微博短文本的应用。 任务目标简单介绍一下整个任务的目标：给微博内容打上标签，例如美妆、宠物用品等。这类问题可以转化为经典的多分类问题。然而微博内容较短，并且文字随意性极强，这 阅读全文

posted @ 2018-12-19 12:21 ExplorerMan 阅读(967) 评论(0) 推荐(0)

fastText入门

摘要： 简介fastText是Facebook AI Research在2016年提出的文本分类和词训练的工具。它最大的特点：模型非常简单，训练速度快，并且能够达到与深度学习旗鼓相当的精度。 最近在做一个给微博内容分类的项目，主要目的是给微博打上商业标签。这个项目是一个经典的多分类任务，传统的方法包括：SV 阅读全文

posted @ 2018-12-19 12:19 ExplorerMan 阅读(727) 评论(0) 推荐(0)

python(一)：multiprocessing——死锁

摘要： 前言近年来，使用python的人越来越多，这得益于其清晰的语法、低廉的入门代价等因素。尽管python受到的关注日益增多，但python并非完美，例如被人诟病最多的GIL（值得注意的是，GIL并非python特性，它是在实现Python解析器(CPython)时所引入的一个概念，而CPython是大 阅读全文

posted @ 2018-12-19 12:18 ExplorerMan 阅读(1256) 评论(0) 推荐(0)

python（二）：使用multiprocessing中的常见问题

摘要： 简介在python的解释器中，CPython是应用范围最广的一种，其具有丰富的扩展包，方便了开发者的使用。当然CPython也不是完美的，由于全局解释锁（GIL）的存在，python的多线程可以近似看作单线程。为此，开发者推出了multiprocessing，这里介绍一下使用中的常见问题。 环境>> 阅读全文

posted @ 2018-12-19 12:16 ExplorerMan 阅读(549) 评论(0) 推荐(0)

导航