上一页 1 ··· 167 168 169 170 171 172 173 174 175 ··· 234 下一页

2018年12月19日

python 使用multiprocessing需要注意的问题

摘要: 我们在编写程序的时候经常喜欢这样写代码 import MySQLdb import time from multiprocessing import Process conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xx‘, ‘test‘) def f(n 阅读全文

posted @ 2018-12-19 14:27 ExplorerMan 阅读(683) 评论(0) 推荐(0)

fasttext(1) -- 认识 fasttext 和 初步使用

摘要: fastText 的 Python接口:https://github.com/salestock/fastText.py (1) fasttext 简介:FastText是Facebook开发的一款快速文本分类器,提供简单而高效的文本分类和表征学习的方法,性能比肩深度学习而且速度更快。 fastTe 阅读全文

posted @ 2018-12-19 12:23 ExplorerMan 阅读(3593) 评论(0) 推荐(0)

fastText(三):微博短文本下fastText的应用(二)

摘要: 上一篇讲到,fastText在训练数据中过拟合的问题。接下来将介绍一些提高fastText泛化能力的尝试。 模型泛化使用过fastText的人,往往会被它的很多特性征服,例如训练速度、兼具word embedding和分类等。但是正如一个硬币有正反两面,fastText也并非完美,fastText的 阅读全文

posted @ 2018-12-19 12:22 ExplorerMan 阅读(729) 评论(0) 推荐(0)

fastText(二):微博短文本下fastText的应用(一)

摘要: 众所周知,微博中的内容以短文本居多,文本内容随意性极强,这给建模增加了很大的难度。针对这一问题,这里分享一下fastText在微博短文本的应用。 任务目标简单介绍一下整个任务的目标:给微博内容打上标签,例如美妆、宠物用品等。这类问题可以转化为经典的多分类问题。然而微博内容较短,并且文字随意性极强,这 阅读全文

posted @ 2018-12-19 12:21 ExplorerMan 阅读(942) 评论(0) 推荐(0)

fastText入门

摘要: 简介fastText是Facebook AI Research在2016年提出的文本分类和词训练的工具。它最大的特点:模型非常简单,训练速度快,并且能够达到与深度学习旗鼓相当的精度。 最近在做一个给微博内容分类的项目,主要目的是给微博打上商业标签。这个项目是一个经典的多分类任务,传统的方法包括:SV 阅读全文

posted @ 2018-12-19 12:19 ExplorerMan 阅读(709) 评论(0) 推荐(0)

python(一):multiprocessing——死锁

摘要: 前言近年来,使用python的人越来越多,这得益于其清晰的语法、低廉的入门代价等因素。尽管python受到的关注日益增多,但python并非完美,例如被人诟病最多的GIL(值得注意的是,GIL并非python特性,它是在实现Python解析器(CPython)时所引入的一个概念,而CPython是大 阅读全文

posted @ 2018-12-19 12:18 ExplorerMan 阅读(1224) 评论(0) 推荐(0)

python(二):使用multiprocessing中的常见问题

摘要: 简介在python的解释器中,CPython是应用范围最广的一种,其具有丰富的扩展包,方便了开发者的使用。当然CPython也不是完美的,由于全局解释锁(GIL)的存在,python的多线程可以近似看作单线程。为此,开发者推出了multiprocessing,这里介绍一下使用中的常见问题。 环境>> 阅读全文

posted @ 2018-12-19 12:16 ExplorerMan 阅读(523) 评论(0) 推荐(0)

2018年12月18日

Process类,Thread类,Pool类,gevent类,ProcessPoolExecutor,ThreadPoolExecutor的用法比较

摘要: 一 Process类 multiprocessing模块下的一个类 创建子进程。 有两种方法 方法一 输出: 方法二 输出: 二 Thread类 threading模块下的类 创建线程 有两种方法 与Process类一样。 三 Pool类 Pool类的方法: p=Pool() p.apply_asy 阅读全文

posted @ 2018-12-18 18:10 ExplorerMan 阅读(554) 评论(0) 推荐(0)

python并发之concurrent.futures

摘要: concurrent:并发 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolEx 阅读全文

posted @ 2018-12-18 18:07 ExplorerMan 阅读(292) 评论(0) 推荐(0)

单线程实现并发——协程,gevent模块

摘要: 一 并发的本质 1 切换 2 保存状态 二 协程的概念 协程,又称微线程,纤程。英文名Coroutine。单线程下实现并发,用户从应用程序级别控制单线程下任务的切换,注意一定是遇到I/O才切。 协程的特点在于是一个线程执行,那和多线程比,协程有何优势? 最大的优势就是协程极高的执行效率。因为子程序切 阅读全文

posted @ 2018-12-18 18:07 ExplorerMan 阅读(278) 评论(0) 推荐(0)

上一页 1 ··· 167 168 169 170 171 172 173 174 175 ··· 234 下一页

导航