随笔分类 -  Go/Python

python tips
摘要：excel2text #!/usr/bin/env python import sys reload(sys) sys.setdefaultencoding('utf-8') import xlrd from datetime import time from datetime import dat 阅读全文
posted @ 2022-01-19 14:33 畑鹿驚 阅读(35) 评论(0) 推荐(0)
go module 介绍
摘要：go Module 是 Go 语言的一种依赖管理方式。 在 Go 1.11 版本中出现的，在1.13版本前，需要显式设置环境变量GO111MODULE的值为on。 1.13版本以后，该环境变量被设置为auto，在GOPATH内，GO111MODULE的值为off，也就是使用GOPATH； 如果在GO 阅读全文
posted @ 2021-01-18 16:05 畑鹿驚 阅读(336) 评论(0) 推荐(0)
golang中处理panic的正确姿势
摘要：golang中panic的处理没有其他语言中try-catch语法那么简单。 大部分例子的panic处理都是在退出环节。那么如何在正常业务流程中处理panic，然后不影响全局呢？ // 业务处理1，定义myStrcture isDone := make(chan int) go func() { d 阅读全文
posted @ 2018-08-24 21:42 畑鹿驚 阅读(6509) 评论(0) 推荐(0)
如何快速上手lxml
摘要：lxml是一个非常方便的解析工具，首先了解一下lxml在整个爬虫开发流程中的作用。 爬虫可简单可复杂，视爬虫对象、任务不同而不同。我们的目标是用最简单最有效的方法来快速获取想要的信息。 这里给出一个简单例子：爬取 "信用信息公示系统" 中，企业信息详情。 如下图所示： 1 实例 首先确定lxml规则 阅读全文
posted @ 2018-05-06 15:36 畑鹿驚 阅读(738) 评论(0) 推荐(0)
centos6下同时安装python2和python3
摘要：依赖项 http://unix.stackexchange.com/questions/291737/zipimport zipimporterror cant decompress data zlib not available 安装 注意make install完成后不应该出现Ignoring 阅读全文
posted @ 2018-03-21 00:02 畑鹿驚 阅读(1448) 评论(0) 推荐(0)
如何用脚本方式启动scrapy爬虫
摘要：众所周知，直接通过命令行 可以启动项目中名为yourspidername的爬虫。在python脚本中可以调用cmdline模块来启动命令行： 其中，在方法3、4中，推荐subprocess "subprocess module" intends to replace several other, o 阅读全文
posted @ 2017-09-04 21:04 畑鹿驚 阅读(9370) 评论(0) 推荐(0)
如何使用python3爬取1000页百度百科条目
摘要：1 问题描述 起始页面 http://baike.baidu.com/item/python 包含许多指向其他词条的页面。通过页面之间的链接访问1000条百科词条。 对每个词条，获取其标题和简介。 2 讨论 首先获取页面源码，然后解析得到自己要的数据。 这里我们通过urllib或者requests库 阅读全文
posted @ 2017-07-08 18:51 畑鹿驚 阅读(604) 评论(0) 推荐(0)
如何使用Supervisor监控和管理python进程
摘要：1 安装 安装过程假如遇到如下问题： 1. 出现：error: invalid command 'bdist_wheel' Failed building wheel for supervisor 2. 出现：pkg_resources.DistributionNotFound: meld3 =0. 阅读全文
posted @ 2017-05-18 14:31 畑鹿驚 阅读(3779) 评论(0) 推荐(0)