随笔档案「2019年8月」 - WU大雄

摘要：1.下载依赖工具 2.模拟鼠标点击以及键盘输入中文键盘输入中文由于pyautogui不支持，所以可以使用pyperclip先复制中文到剪贴板然后使用pyautogui进行ctrl+v即可。阅读全文

posted @ 2019-08-29 09:29 WU大雄阅读(3154) 评论(0) 推荐(0)

摘要：1，一条sql语句插入多条数据的写法修改后的插入操作能够提高程序的插入效率。这里第二种SQL执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的阅读全文

posted @ 2019-08-26 09:46 WU大雄阅读(4206) 评论(0) 推荐(1)

数据库ACID以及事务的隔离

摘要：一、ACID A：Atomicity 原子性我们把事务划分成原子一样，比方说a转钱给b，不能出现a扣了钱b没收到。所有环节中任意一个出错事务就必须回滚。 C：Consistency 一致性事务必须使得数据库从一个一致性状态改变到另一个一致性状态。比方说a和b之间互相转钱，而a和b的资产总额有10 阅读全文

posted @ 2019-08-26 09:31 WU大雄阅读(347) 评论(0) 推荐(0)

Spark-03 scala

摘要：前言 a.spark可以用三种不同的语言编写：scala，python和java，相比于其他两种语言，scala的性能较好。 ps：scala也是基于jvm的一种语言，有些地方效率比java更高。 b.函数式编程 Spark依赖于函数式编程，使用函数作为基本编程输入，函数没有状态或副作用，只包含输入阅读全文

posted @ 2019-08-17 00:54 WU大雄阅读(163) 评论(0) 推荐(0)

Spark-02 spark安装

摘要：1.安装过程在/opt目录下安装spark集群在conf下面的slaves.template（slave：主从），复制一份变为slaves，把从节点的主机名搞进去配置etc/profile，source一下几台机子之间还得搞一下免密登录。配置好免密登录启动即可 standalone用的是ma 阅读全文

posted @ 2019-08-17 00:21 WU大雄阅读(172) 评论(0) 推荐(0)

Spark-01 spark简介

摘要：前言：大牛说由spark入手比较合适 1.spark简介 spark是个计算框架，不存东西。MapReduce是Hadoop里面做计算的，也不存东西，出现比spark早，自从spark活跃起来后mc的很多程序就被重写为spark程序了。spark的api使用起来也比较简单。 spark起源于2009 阅读全文

posted @ 2019-08-16 22:58 WU大雄阅读(531) 评论(0) 推荐(0)

知乎上看到的关于RDD的比较好的解释

摘要：源答案来源于知乎的大佬@昆吾。网友的原答案START 源答案来源于知乎的大佬@昆吾。网友的原答案START 源答案来源于知乎的大佬@昆吾。网友的原答案START 源答案来源于知乎的大佬@昆吾。网友的原答案START 首先来思考一个问题：Spark的计算模型是如何做到并行的呢？如果你有一箱苹果阅读全文

posted @ 2019-08-16 09:31 WU大雄阅读(797) 评论(0) 推荐(0)

快速搭建：Djangorest-framework的restful项目

摘要：#背景：最近要写个demo，Django写东西比较快，先拿DJango试一下。首先建立一个project 然后准备虚拟环境然后激活下载个rest_framework 在project里面新建一个app app1里面的view改吧改吧 from django.shortcuts import r 阅读全文

posted @ 2019-08-15 15:05 WU大雄阅读(1109) 评论(0) 推荐(0)

公告