上一页 1 ··· 48 49 50 51 52 53 54 55 56 ··· 234 下一页

2021年1月27日

记一次redis cluster delete node失败

摘要: 1、6611 的 slot 5731 move失败。 redis-cluster在reshard时失败,提示信息如下:All nodes agree about slots configuration. Check for open slots...Node 172.28.192.84:6430 h 阅读全文

posted @ 2021-01-27 11:50 ExplorerMan 阅读(496) 评论(0) 推荐(0)

2021年1月26日

Spark技术栈

摘要: 作者:无所不能的小裁缝链接:https://www.zhihu.com/question/51378885/answer/207497660来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 大数据的浪潮风靡全球的时候,Spark火了。在国外 Yahoo!、Twitter 阅读全文

posted @ 2021-01-26 17:35 ExplorerMan 阅读(676) 评论(0) 推荐(0)

2021年1月25日

Linux rm -rf删除文件不释放空间的解决办法

摘要: 前几天发现在Linux系统下有一个很大的无用文件,于是用rm -rf 删除,然后用df -h查看磁盘空间,发现即使文件被删除了,但文件所占用的空间并未释放,十分疑惑,于是在网上找到了解决方案,即使用lsof | grep deleted查看占用的进程并kill相关进程。 具体情况是这样,使用rm - 阅读全文

posted @ 2021-01-25 15:27 ExplorerMan 阅读(746) 评论(0) 推荐(0)

MySQL 5.6.35 索引优化导致的死锁案例解析

摘要: 一、背景 随着公司业务的发展,商品库存从商品中心独立出来成为一个独立的系统,承接主站商品库存校验、订单库存扣减、售后库存释放等业务。在上线之前我们对于核心接口进行了压测,压测过程中出现了 MySQL 5.6.35 死锁现象,通过日志发现引发死锁的只是一条简单的sql,死锁是怎么产生的?发扬技术人员刨 阅读全文

posted @ 2021-01-25 11:37 ExplorerMan 阅读(256) 评论(0) 推荐(0)

亲历者说 | 完整记录一年多考拉海购的云原生之路 转

摘要: 简介: 考拉海购的整个云化改造是从 2019 年 10 月份开始的,当时的唯一目标就是短时间内快速完成迁移。在不到 4 个月的时间里,考拉团队唯一考虑的是如何以最快的速度完成使命,云原生是我们选择的最合适的一条路。 前言 考拉海购的整个云化改造是从 2019 年 10 月份开始的,当时的唯一目标就是 阅读全文

posted @ 2021-01-25 11:12 ExplorerMan 阅读(208) 评论(0) 推荐(0)

2021年1月23日

Spark实战(八)spark的几种启动方式

摘要: spark常用的启动方式 一、Local(本地模式) Spark单机运行,一般用于开发测试。可以通过Local[N]来设置,其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。spark-submit 和 spark-submit --mas 阅读全文

posted @ 2021-01-23 18:46 ExplorerMan 阅读(1900) 评论(0) 推荐(0)

Spark实战(七)spark streaming +kafka(Python版)

摘要: spark常用的启动方式 一、Local(本地模式) Spark单机运行,一般用于开发测试。可以通过Local[N]来设置,其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。spark-submit 和 spark-submit --mas 阅读全文

posted @ 2021-01-23 18:45 ExplorerMan 阅读(429) 评论(0) 推荐(0)

Spark实战(六)spark SQL + hive(Python版)

摘要: 一、hive环境准备 1、安装hive 按照hive安装步骤安装好hive CREATE USER 'spark'@'%' IDENTIFIED BY '123456'; GRANT all privileges ON hive.* TO 'spark'@'%'; 1 2 flush privile 阅读全文

posted @ 2021-01-23 18:43 ExplorerMan 阅读(499) 评论(0) 推荐(0)

Spark实战(五)spark streaming + flume(Python版)

摘要: 一、flume安装 (一)概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中,一般的采集需求,通过对flume的简单配置即可 阅读全文

posted @ 2021-01-23 18:42 ExplorerMan 阅读(782) 评论(0) 推荐(0)

Spark实战(二)Spark常用算子

摘要: 一、算子分类 从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 A 阅读全文

posted @ 2021-01-23 18:28 ExplorerMan 阅读(826) 评论(1) 推荐(1)

上一页 1 ··· 48 49 50 51 52 53 54 55 56 ··· 234 下一页

导航