摘要： 出处： 链接：https://zhuanlan.zhihu.com/p/48080173 Redis是什么 Redis是一个开源的底层使用C语言编写的key-value存储数据库。可用于缓存、事件发布订阅、高速队列等场景。而且支持丰富的数据类型：string(字符串)、hash(哈希)、list(列 阅读全文

摘要： celery beat是用来开启定时任务调度的，一般用法为：启动celery beat，然后启动worker，让beat去调用worker里面的任务 一般我们在代码里面通过model层的插入直接就可以新建定时任务 由于我们使用的数据库插入模式，记得配置 然后我们在adv_celery.tasks.t 阅读全文

摘要： 1、使用redis key 过期通知，需开启key过期通知功能： 登录进入redis-cli 客户端，执行： 【或者启动redis前在redis.conf 添加配置：notify-keyspace-events "Ex" //过期时间监听生效】 2、启动监听key过期 登录进入redis-cli 客 阅读全文

摘要： 1.下载依赖工具 2.模拟鼠标点击以及键盘输入中文 键盘输入中文由于pyautogui不支持，所以可以使用pyperclip先复制中文到剪贴板然后使用pyautogui进行ctrl+v即可。 阅读全文

摘要： 1，一条sql语句插入多条数据的写法 修改后的插入操作能够提高程序的插入效率。这里第二种SQL执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的 阅读全文

摘要： 一、ACID A：Atomicity 原子性 我们把事务划分成原子一样，比方说a转钱给b，不能出现a扣了钱b没收到。所有环节中任意一个出错事务就必须回滚。 C：Consistency 一致性 事务必须使得数据库从一个一致性状态改变到另一个一致性状态。比方说a和b之间互相转钱，而a和b的资产总额有10 阅读全文

摘要： 前言 a.spark可以用三种不同的语言编写：scala，python和java，相比于其他两种语言，scala的性能较好。 ps：scala也是基于jvm的一种语言，有些地方效率比java更高。 b.函数式编程 Spark依赖于函数式编程，使用函数作为基本编程输入，函数没有状态或副作用，只包含输入 阅读全文

摘要： 1.安装过程 在/opt目录下安装spark集群 在conf下面的slaves.template（slave：主从），复制一份变为slaves，把从节点的主机名搞进去 配置etc/profile，source一下 几台机子之间还得搞一下免密登录。配置好免密登录启动即可 standalone用的是ma 阅读全文

摘要： 前言：大牛说由spark入手比较合适 1.spark简介 spark是个计算框架，不存东西。MapReduce是Hadoop里面做计算的，也不存东西，出现比spark早，自从spark活跃起来后mc的很多程序就被重写为spark程序了。spark的api使用起来也比较简单。 spark起源于2009 阅读全文

摘要： 源答案来源于知乎的大佬@昆吾。 网友的原答案START 源答案来源于知乎的大佬@昆吾。 网友的原答案START 源答案来源于知乎的大佬@昆吾。 网友的原答案START 源答案来源于知乎的大佬@昆吾。 网友的原答案START 首先来思考一个问题：Spark的计算模型是如何做到并行的呢？如果你有一箱苹果 阅读全文