一路向北321

摘要： 目录： 一、celery应用场景 二、使用 Celery 实现异步任务的步骤 三、应用实例 一、celery应用场景 （1）异步任务（ async task ）：发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作 （2）定时任务（ crontab ）：在特定时间执行的任务 二、使用 Celer 阅读全文

摘要： 目录： 一、celery简介 二、基本概念 三、使用 Celery 实现异步任务的步骤 四、使用 Celery 实现定时任务的步骤 五、celery定时任务简单使用 一、celery： 1、定义：一个强大的分布式任务队列 2、作用：可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行（分布 阅读全文

摘要： 目录： 1、Homebrew介绍和使用 2、mac系统 redis安装 3、redis常用管理命令 4、redis数据类型及常用命令 1、Homebrew介绍和使用： 因为很多安装教程都是通过Homebrew安装的，所以首先介绍Homebrew： Homebrew介绍和使用 2、mac系统 redi 阅读全文

摘要： 1、问题 连接远程redis的命令： $ redis-cli -h host -p port -a password 今天在服务器上使用上命令连接阿里云redis的时候，显示警告信息如下： Could not connect to Redis at r-2zeclm4fdwos1xewcb.redi 阅读全文

摘要： 参考： 1、什么是百分位、千分位 2、千分位函数percentile()和percentile_approx() 3、Excel如何计算分位数：PERCENTILE函数用法实 百分位是用来定位的。管中窥豹，可见一斑。 如果知道某数在一个有序排列的集合中，处于什么位置，我们就对整个数据集合就有了概念。 阅读全文

摘要： 本文转自：mse、rmse、mae、r2指标的总结以及局限性 衡量线性回归法的指标：MSE, RMSE和MAE 举个栗子： 对于简单线性回归，目标是找到a,b 使得 尽可能小 其实相当于是对训练数据集而言的，即 当我们找到a，b后，对于测试数据集而言 ，理所当然，其衡量标准可以是 但问题是，这个衡量 阅读全文

摘要： collect、toArray 将RDD转换为Scala的数组。 collectAsMap 与collect、toArray相似。collectAsMap将key-value型的RDD转换为Scala的map。 注意：map中如果有相同的key，其value只保存最后一个值。 # 创建一个2分区的R 阅读全文

摘要： map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues map(function)map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举 阅读全文

摘要： 以{1, 2, 3, 3}的RDD为例： 函数名 目的 示例 结果 map() 将函数应用于 RDD 中的每个元素，将返回值构成新的 RDD rdd.map(x => x + 1) {2, 3, 4, 4} flatMap() 将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 R 阅读全文

摘要： 一、row_number() 1、语法： row_number() over (partition by col_list1 order by col_list2) rank() over(partition by col_list1 order by col_list2) 2、row_number 阅读全文