ExplorerMan

摘要： 1、6611 的 slot 5731 move失败。 redis-cluster在reshard时失败，提示信息如下：All nodes agree about slots configuration. Check for open slots...Node 172.28.192.84:6430 h 阅读全文

摘要： 作者：无所不能的小裁缝链接：https://www.zhihu.com/question/51378885/answer/207497660来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter 阅读全文

摘要： 前几天发现在Linux系统下有一个很大的无用文件，于是用rm -rf 删除，然后用df -h查看磁盘空间，发现即使文件被删除了，但文件所占用的空间并未释放，十分疑惑，于是在网上找到了解决方案，即使用lsof | grep deleted查看占用的进程并kill相关进程。 具体情况是这样，使用rm - 阅读全文

摘要： 一、背景 随着公司业务的发展，商品库存从商品中心独立出来成为一个独立的系统，承接主站商品库存校验、订单库存扣减、售后库存释放等业务。在上线之前我们对于核心接口进行了压测，压测过程中出现了 MySQL 5.6.35 死锁现象，通过日志发现引发死锁的只是一条简单的sql，死锁是怎么产生的？发扬技术人员刨 阅读全文

摘要： 简介： 考拉海购的整个云化改造是从 2019 年 10 月份开始的，当时的唯一目标就是短时间内快速完成迁移。在不到 4 个月的时间里，考拉团队唯一考虑的是如何以最快的速度完成使命，云原生是我们选择的最合适的一条路。 前言 考拉海购的整个云化改造是从 2019 年 10 月份开始的，当时的唯一目标就是 阅读全文

摘要： spark常用的启动方式 一、Local(本地模式) Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --mas 阅读全文

摘要： spark常用的启动方式 一、Local(本地模式) Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --mas 阅读全文

摘要： 一、hive环境准备 1、安装hive 按照hive安装步骤安装好hive CREATE USER 'spark'@'%' IDENTIFIED BY '123456'; GRANT all privileges ON hive.* TO 'spark'@'%'; 1 2 flush privile 阅读全文

摘要： 一、flume安装 （一）概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可 阅读全文

摘要： 一、算子分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 A 阅读全文