在JEMMELL任职数据分析师 - 随笔分类 - sheffiled

学习精要

摘要：我们读文言文、古诗词、史书等古文时，面临的环境有很大“差错”。字源未知、字形、字义、读音相对当前世界也发生很多变化。这让我们很难得到真正的音律和作者的本意。当我们想接近本意时，应该做的事情是，甚古的需要考证字源（比如道德经），其他的至少要考证当时的字义、读音。面对计算机的知识图谱、技术栈，我们不可阅读全文

posted @ 2022-05-07 08:47 sheffiled 阅读(33) 评论(0) 推荐(0)

使用mod_wsgi（三）

摘要：昨天使用mod_wsgi新增一个web项目，因此想在conf中新增虚拟环境解释器、路由等配置，结论是在一个conf中增加多个Python虚拟环境是无法成功的。原因是一个服务一个时间只能运行一个Python解释器，numpy等三方库是C语言编写的，基于Cpython，受限于GIL必须等待。而另一个服阅读全文

posted @ 2022-03-16 08:59 sheffiled 阅读(276) 评论(0) 推荐(0)

Python多线程 & 数据库的连接池

摘要：Python脚本会交给解释器的GIL机制进行调度，不管CPU有多少个核心，在同一时刻，只有一个线程片段能在解释器中运行。就是说脚本是同步(串行)运行的，除非遇到阻塞，比如I/O作业，此时其他线程会抢到GIL调用CPU等运行非阻塞任务。 Python的多线程意味着可以让多个任务交替运行，这样能够避免执阅读全文

posted @ 2022-03-04 12:01 sheffiled 阅读(938) 评论(0) 推荐(0)

关于车联网数据分析（一）

摘要：近日来，一直研究公司（营销中心）如何从车联网数据获取价值。我们是新能源汽车公司，按国家规定，必须收集和上传车辆的实时信息，这一过程是集团发包T-Box厂家和第三方TSP公司完成的。数据必然保存在我们公司的数据库上，数据库是Cassandra；最底层的数据是每辆车每隔10秒一个报文。现在我的目标是利用阅读全文

posted @ 2022-03-02 14:14 sheffiled 阅读(876) 评论(0) 推荐(0)

Flask微信公众号开发之模板消息（三）

摘要：服务-请求循环中的身份验证服务器验证：使用微信公众号连接粉丝，首先要有提供服务的服务器（我的服务器在阿里云，以下简称Ali），微信充当Ali和粉丝之间的代理人。即，微信转发粉丝的主动请求给Ali、转发Ali的响应给粉丝；Ali把主动发送给粉丝的内容发送到微信接口、微信将内容转发到粉丝。设置Al 阅读全文

posted @ 2021-12-22 13:22 sheffiled 阅读(163) 评论(0) 推荐(0)

大数据开始

摘要：起点： MySQL（或者Greenplum）、MPP Massively Parallel Processing、ROLAP、帆软BI（或者Echarts/antV）进阶：分布式文件存储、hadoop（或者druid）、Cube——MOLAP 阅读全文

posted @ 2021-12-20 11:43 sheffiled 阅读(49) 评论(0) 推荐(0)

Adblock Plus ——屏蔽网页中指定元素或广告的插件

摘要：在百度中搜索某些内容时，常常被“热搜榜”干扰，我尝试搜索如何屏蔽“热搜榜”的方法。 Adblock Plus 用于屏蔽网页上的广告（或其他DOM元素），但是它不是国产，原版需经由google.com安装，在没有VPN的情况下只能安装“二手”的。初步来看，它事先定义了一个屏蔽规则清单，似乎是内置的，阅读全文

posted @ 2021-12-20 09:59 sheffiled 阅读(900) 评论(0) 推荐(0)

Flask微信公众号开发之模板消息（二）

摘要：配置服务器原来使用Apache + mod_wsgi，不愿再改。当我看了Nginx + uwsgi的配置语法，以及Nginx自身的介绍，此时不改，更待何时。我在阿里云的CentOS下载nginx，使用Python虚拟环境下载uwsgi，一切都很顺利：在nginx的配置文件/etc/nginx/ 阅读全文

posted @ 2021-12-14 13:51 sheffiled 阅读(76) 评论(0) 推荐(0)

Flask微信公众号开发之模板消息（一）

摘要：公司的经销商在他们的DMS终端填写汇款数据、上传银行凭证（DMS付款单的操作，用于以后在DMS上批发购车），在这之后公司端财务会审核通过/驳回，DMS发出审核结果通知。现在的痛点是，DMS是PC软件，经销商的核心业务不是文职工作，他们不会经常打开DMS，因此不知道审核结果。我考虑使用短信通知的功能阅读全文

posted @ 2021-12-14 11:47 sheffiled 阅读(207) 评论(0) 推荐(0)

kettle类型转换或者不同类型的比较

摘要：今天kettle“突然”不能正常工作了：源中的新数据没有新增到目标数据库。想来想去，我曾经把目标表的user_id字段从decimal改为VARCHAR(10)，所以kettle在识别关键字、进行比较时，出现了问题。那么为何最开始没有出问题呢？——最开始时目标表是空的，所以一次性新增了过去。（标阅读全文

posted @ 2021-12-10 15:56 sheffiled 阅读(2288) 评论(0) 推荐(0)

代码中密码的保存

摘要：1、密码能做的事情要尽量少，比如它是只读权限的密码，它只能在局域网中使用，它要配合VPN使用。 2、黑客的权限有哪些？root权限？可以在你的机器上运行你的代码的权限？这两者不考虑。 3、黑客有读取你存放密码的文件的权限，或者可以截获密码，让他最多知道密码、用户名、ip地址三者之二。把用户名、ip像阅读全文

posted @ 2021-12-02 00:19 sheffiled 阅读(301) 评论(0) 推荐(0)

“文档”略谈，从SQLAlchemy开始

摘要：因为看着SQLAlchemy的文档，被其动态变化的目录以及繁冗的结构、内容所困扰，所以进行此番整理，主要想阐明整体结构： ——文档是创作者和学习者之间一个非常苦逼的矛盾，我感到这方面做的最好的非Python的龟叔莫属。他在整体结构、具体行文和示例使用上，都能直达Python精髓。文档读起来倍感赏心悦阅读全文

posted @ 2021-12-01 21:49 sheffiled 阅读(84) 评论(0) 推荐(0)

VBS的"Wscript.shell"

摘要：Wscript.shell这个在双引号里的名字，是WshShell即Win script host shell的名字（proid）。它在windows中可以执行环境相关程序（目前为止，我不懂我自己总结的这一句话。。。我总觉得有很多对象可以执行指定的脚本，我也不知道为何要制作这么多对象，每种对象都有何阅读全文

posted @ 2021-11-29 21:08 sheffiled 阅读(1041) 评论(0) 推荐(0)

Python的装饰器

摘要：今天我写了一个装饰器，位于一个类之内，并且它的功能不是执行被装饰的函数，而只是把被装饰的函数加入到一个handle_table。这个需求来自于微信公众号开发，具体是这样的：微信会转发给我的服务器一个用户行为，使用/jemmell路由端口，而这些用户进行关注时，回复一个欢迎消息用户扫码关注时，回阅读全文

posted @ 2021-11-16 15:44 sheffiled 阅读(44) 评论(0) 推荐(0)

使用mod_wsgi（二）

摘要：这段时间，我用Flask完成了一个数据服务类的网站建设（基本没有使用上篇文章所提到的Git，仅仅同步到了我的Github），好多新的技能需要总结（必须要总结）。今天，遇到了对我来说难以解决的问题，临时记录于此： 1、我将app的测试环境改为生产环境，为此查了大量的Apache配置资料，但是这一块，我阅读全文

posted @ 2021-09-28 16:00 sheffiled 阅读(145) 评论(0) 推荐(0)

安装Git for Windows

摘要：我在阿里云的个人服务器上（CentOS 6）使用Git/Git Hub有两年多时间了，在个人电脑（Windows）上使用了一小段时间。目前公司的系统是Windows，一时不好装第二系统，所以不免使用Git for Windows；其实到此为止，所有的软件都是适用Windows的，以后如果项目做的不阅读全文

posted @ 2021-09-13 14:21 sheffiled 阅读(278) 评论(0) 推荐(0)

Flask框架

摘要：安装和使用mod_wsgi，在此基础上使用Python搭建Web服务，不会直接产生一个较好的结果。与其从头开始堆积前后端代码，不如选择Web框架。我使用Flask作为开始，之前的Django框架，因为一时较难入手（我感到它总是依赖于PyCharm才好作业，依赖很多Python衍生的工具，它的内部实阅读全文

posted @ 2021-09-13 11:51 sheffiled 阅读(111) 评论(0) 推荐(0)

使用mod_wsgi

摘要：在https://pypi.org/project/mod-wsgi/中，介绍了mod_wsgi和Apache的连接，具体是Connecting into Apache installation，其中针对pip install xxx的方式： To use the Apache mod_wsgi m 阅读全文

posted @ 2021-09-09 16:20 sheffiled 阅读(291) 评论(0) 推荐(0)

anaconda、jupyter、apache、mod_wsgi

摘要：anaconda含有一个版本的Python解释器，通常新版anaconda包含的解释器也非常新，前几天下载的conda 4.10.1，内含Python 3.8.8。它还可以指向多个版本的解释器，每次新建环境时复制这个解释器；但是操蛋的是，anaconda所著称的数据处理科学包及其依赖项仅仅存在于b 阅读全文

posted @ 2021-09-08 17:05 sheffiled 阅读(156) 评论(0) 推荐(0)

简单使用kettle转换经销商信息表（excel数据、帆软报表执行、要注意的问题）

摘要：昨天把3个Excel文件用kettle做了转换，最后用计划任务（vbs脚本）调用kettle的kitchen.bat，执行作业。已经将帆软大屏的数据源进行了切换，报表各功能执行顺利。 1、这些Excel数据包括DMS中不存在的管理项目：日常车型分类、时间周期分类、经营目标。使用帆软报表的文件数据集阅读全文

posted @ 2021-08-28 17:12 sheffiled 阅读(595) 评论(0) 推荐(0)

随笔分类 - 在JEMMELL任职数据分析师

公告