摘要: 一、起因: Hbase是一个列式存储,nosql类型的数据库,类似mongodb。 目前似乎没有提供批量删除的方法,只有一个单行删除的命令:deleteall 'tablename', rowkey 二、删除方法: 方法一:通过写 shell 脚本,从 hbase shell 查出需要删除的 row 阅读全文
posted @ 2018-12-29 10:03 TurboWay 阅读(8684) 评论(1) 推荐(0) 编辑
摘要: 一、环境准备 1、需要安装opencv,直接安装 pip install opencv-python 2、需要安装ffmpeg ,直接解压免安装,下载传送门; 将 ffmpeg.exe 的路径复制,替换代码开头的 ffmpeg = r'G:\ffmpeg\bin\ffmpeg.exe‘ 二、源代码 阅读全文
posted @ 2018-10-06 21:20 TurboWay 阅读(6432) 评论(0) 推荐(0) 编辑
摘要: 一、场景 工作需要,有时要将文件上传到 linux 的服务器,希望将文件的格式改为 Unix(LF) 、 utf-8, 可以通过py脚本来批量处理。 二、代码 阅读全文
posted @ 2018-09-21 17:20 TurboWay 阅读(3146) 评论(0) 推荐(0) 编辑
摘要: 一、起因 前天在公众号上,看到一篇如何用python偷偷拷贝别人U盘内容的文章推送,感觉这个想法挺有意思的,可惜是用的是linux系统,而且移动硬盘的盘符也是写死的,不够灵活,于是就自己动手写了一个demo。 demo 的基本功能是 将U盘的所有内容拷贝到电脑上的指定位置,或者 将电脑上的指定文件拷 阅读全文
posted @ 2018-09-17 11:33 TurboWay 阅读(673) 评论(0) 推荐(0) 编辑
摘要: 数据库表设计的时候,经常会出现一对多的情况,比如标签、明细之类的。 有时,需要在一个查询中,将每个主体的所有标签在一个字段中展示出来,这个时候就可以用 FOR XML PATH 这个语法轻易的实现。 示例代码: 效果: 阅读全文
posted @ 2018-07-24 16:26 TurboWay 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 一、问题: 使用python的logging模块记录日志,有时会遇到中文编码问题错误。 二、解决办法: 在logging.FileHandler(path) 中添加指定编码方式 encoding='utf-8' 即可,logging.FileHandler(path, encoding='utf-8 阅读全文
posted @ 2018-07-13 11:30 TurboWay 阅读(15950) 评论(3) 推荐(2) 编辑
摘要: 一、起因: 使用selenium 驱动浏览器的时候,如果使用headless模式,会有dos窗口弹出,输出监听信息,有时不想看到,很是麻烦。 二、解决办法: 修改源码:Lib \ site-packages \ selenium \ webdriver \ common \ _ services.p 阅读全文
posted @ 2018-07-12 16:18 TurboWay 阅读(3824) 评论(0) 推荐(1) 编辑
摘要: 特别说明: 因为早些时候鼠绘的接口调整,之前的代码已经不能用了。 正好最近在学习scrapy,于是重新写了一个,项目放在github https://github.com/TurboWay/ishuhui 一、起因: 很喜欢看海贼漫画,其中鼠绘汉化的海贼王无疑是最好的,更新最快的。但是由于版权的问题 阅读全文
posted @ 2018-06-29 16:08 TurboWay 阅读(3332) 评论(18) 推荐(0) 编辑
摘要: 一、起因: 昨天在简书上看到这么一篇文章《中国的父母,大都有毛病》,看完之后个人是比较认同作者的观点。 不过,翻了下评论,发现评论区争议颇大,基本两极化。好奇,想看看整体的评论是个什么样,就写个爬虫,做了词云。 二、怎么做: ① 观察页面,找到获取评论的请求,查看评论数据样式,写爬虫 ② 用 jie 阅读全文
posted @ 2018-02-09 14:32 TurboWay 阅读(590) 评论(0) 推荐(0) 编辑
摘要: 项目做完,有点时间,接着写下第二篇吧。回顾戳这里 基础篇:安装、连接mongodb、使用shell、增删改查、表复制 本文属于进阶篇,为什么叫进阶篇,仅仅是因为这些功能属于DB范畴,一般使用的不多,了解即可,需要时在翻看。 主要包含以下几个内容:索引、备份还原、性能监控、从其他关系型数据库(mysq 阅读全文
posted @ 2018-01-15 17:15 TurboWay 阅读(10518) 评论(0) 推荐(3) 编辑