阿凯

摘要： pynvml.NVMLError_LibraryNotFound: NVML Shared Library Not Found 报错和解决 找到报错文件位置 可以看到C:/Program Files/NVIDIA Corporation/NVSMI/必须有nvml.dll才行。 找到nvml.dll 阅读全文

摘要： Flask-SQLAlchemy 版本号 2.5.1 SQLAlchemy-Utils 版本号 0.36.8 阅读全文

摘要： sparkstreaming用redis管理偏移量 RedisUtils.scala import java.io.FileInputStream import java.util.Properties ​ import redis.clients.jedis.{Jedis, JedisPool, 阅读全文

摘要： sparkstreaming在yarn运行 idea Maven->Lifecycle->package 将jar包传入服务器 执行spark-submit命令提交yarn spark-submit \ --class cn.ruige.data.genderalStat.gemeralStat.H 阅读全文

摘要： nginx+lua控制转发资源 nginx+lua安装配置 https://segmentfault.com/a/1190000018641801 nginx.conf upstream aaa{ server 47.105.104.145:10086 weight=1; } upstream bb 阅读全文

摘要： flask-caching缓存 为了减少web请求响应时间，并且尽量减少缓存穿透问题，flask-caching插件可以在自己设定时间范围内直接返回结果，而不用去从数据库中查询。 实例化Cache对象 # 实例化Cache对象 from flask_caching import Cache cach 阅读全文

摘要： SqlAlchemy 字段为JSON类型查询 要求Mysql5.7+ model class SysTestModel(Base): __tablename__ = "sys_test_data" id = Column(BIGINT, primary_key=True) name = Column 阅读全文

摘要： 1、前序 sparkSQL-2 2、spark程序的序列化 2.1 spark程序序列化描述 对于分布式计算来说，数据后期先需要进行序列化，然后发送给对应的其他计算节点，然后反序列化获取对象数据，最后进行任务执行。 2.2 程序序列化流程 1、在Driver端先把对象数据进行序列化 2、然后把序列化 阅读全文

摘要： SparkSQL-2 1.前言 sparksql-1 2、JDBC数据源 sparksql可以从mysql表中加载大量的数据，然后进行相应的统计分析查询，也可以把最后得到的结果数据写回到mysql表 2.1 通过sparksql加载mysql表中的数据 代码开发 package cn.doit.sp 阅读全文

摘要： 1.ChainMap 当我们有2个字段o1和o2 你想将它们从合并后进行查找操作(比如先从o1找，如果o1找不到，再去o2找)，如下： from collections import ChainMap o1 = {"a": 1, "c": 10} o2 = {"b": 5, "c": 4} o3 = 阅读全文