TurboWay

摘要： 一、起因： Hbase是一个列式存储，nosql类型的数据库，类似mongodb。 目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall 'tablename', rowkey 二、删除方法： 方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 row 阅读全文

摘要： 一、环境准备 1、需要安装opencv，直接安装 pip install opencv-python 2、需要安装ffmpeg ，直接解压免安装，下载传送门； 将 ffmpeg.exe 的路径复制，替换代码开头的 ffmpeg = r'G:\ffmpeg\bin\ffmpeg.exe‘ 二、源代码 阅读全文

摘要： 一、场景 工作需要，有时要将文件上传到 linux 的服务器，希望将文件的格式改为 Unix(LF) 、 utf-8， 可以通过py脚本来批量处理。 二、代码 阅读全文

摘要： 一、起因 前天在公众号上，看到一篇如何用python偷偷拷贝别人U盘内容的文章推送，感觉这个想法挺有意思的，可惜是用的是linux系统，而且移动硬盘的盘符也是写死的，不够灵活，于是就自己动手写了一个demo。 demo 的基本功能是 将U盘的所有内容拷贝到电脑上的指定位置，或者 将电脑上的指定文件拷 阅读全文

摘要： 数据库表设计的时候，经常会出现一对多的情况，比如标签、明细之类的。 有时，需要在一个查询中，将每个主体的所有标签在一个字段中展示出来，这个时候就可以用 FOR XML PATH 这个语法轻易的实现。 示例代码： 效果： 阅读全文

摘要： 一、问题： 使用python的logging模块记录日志，有时会遇到中文编码问题错误。 二、解决办法： 在logging.FileHandler(path) 中添加指定编码方式 encoding='utf-8' 即可，logging.FileHandler(path, encoding='utf-8 阅读全文

摘要： 一、起因： 使用selenium 驱动浏览器的时候，如果使用headless模式，会有dos窗口弹出，输出监听信息，有时不想看到，很是麻烦。 二、解决办法： 修改源码：Lib \ site-packages \ selenium \ webdriver \ common \ _ services.p 阅读全文

摘要： 特别说明： 因为早些时候鼠绘的接口调整，之前的代码已经不能用了。 正好最近在学习scrapy，于是重新写了一个，项目放在github https://github.com/TurboWay/ishuhui 一、起因： 很喜欢看海贼漫画，其中鼠绘汉化的海贼王无疑是最好的，更新最快的。但是由于版权的问题 阅读全文

摘要： 一、起因： 昨天在简书上看到这么一篇文章《中国的父母，大都有毛病》，看完之后个人是比较认同作者的观点。 不过，翻了下评论，发现评论区争议颇大，基本两极化。好奇，想看看整体的评论是个什么样，就写个爬虫，做了词云。 二、怎么做： ① 观察页面，找到获取评论的请求，查看评论数据样式，写爬虫 ② 用 jie 阅读全文

摘要： 项目做完，有点时间，接着写下第二篇吧。回顾戳这里 基础篇：安装、连接mongodb、使用shell、增删改查、表复制 本文属于进阶篇，为什么叫进阶篇，仅仅是因为这些功能属于DB范畴，一般使用的不多，了解即可，需要时在翻看。 主要包含以下几个内容：索引、备份还原、性能监控、从其他关系型数据库(mysq 阅读全文