10 2020 档案

linux 百G级别文件 命令行快速删除最后几行
摘要：linux 百G级别文件 命令行快速删除文件末尾几行 采用dd指令 格式为 dd of=<filename> seek=1 bs=$(($(stat -c%s <filename>)-$(tail <deleterows> <filename>|wc -c))) 处填入要操作的文件名 处填入要删除的 阅读全文
posted @ 2020-10-30 11:45 -拂石- 阅读(1038) 评论(0) 推荐(0)
pymysql对于大表操作的优化
摘要：pymysql对于大表操作的优化 在通过pymysql操作mysql的过程中，我们有时候往往会需要只读取少部分数据 我们往往会直接采取fetchone这个方法来获取一条数据，就像下列代码所示 import pymysql conn = pymysql.connect(host='localhost' 阅读全文
posted @ 2020-10-28 22:32 -拂石- 阅读(256) 评论(0) 推荐(0)
ImportError: cannot import name 'b'
摘要：ImportError: cannot import name 'b' 错误来源 使用pip3安装rediscluster模块时产生 解决方案 需要注意如果需要通过第三方模块操作rediscluster，你需要下载的东西是redis-py-cluster，而不是直接根据rediscluster这个命 阅读全文
posted @ 2020-10-28 21:34 -拂石- 阅读(373) 评论(0) 推荐(0)
ImportError: cannot import name 'sysconfig'
摘要：ImportError: cannot import name 'sysconfig' 错误来源 使用pip3安装第三方组件时产生 解决方案 sudo vim /etc/apt/sources.list #加入以下内容 ⬇ deb http://cn.archive.ubuntu.com/ubunt 阅读全文
posted @ 2020-10-28 21:27 -拂石- 阅读(1904) 评论(0) 推荐(0)
intellij搭建scala环境
摘要：intellij搭建scala环境 安装intellij 前往官网下载合适的版本 https://www.jetbrains.com/zh-cn/idea/promo/?utm_source=baidu&utm_medium=cpc&utm_campaign=cn-bai-pro-intellij- 阅读全文
posted @ 2020-10-24 14:41 -拂石- 阅读(207) 评论(0) 推荐(0)
error: object kafka is not a member of package org.apache.spark.streaming
摘要：error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark环境 如果你使用的版本是kafka-0-10版本，需要将原来导包时的kafka修改成kafka010。 原因是 阅读全文
posted @ 2020-10-23 21:39 -拂石- 阅读(1594) 评论(0) 推荐(0)
【转载】kafka partition和broker
摘要：#kafka partition和broker partition越多吞吐量越大 在kafka中，单个partition是kafka并行操作的最小单元。每个partition可以独立接收推送的消息以及被consumer消费，相当于topic的一个子通道，partition和topic的关系就像高速公 阅读全文
posted @ 2020-10-14 13:36 -拂石- 阅读(6117) 评论(0) 推荐(0)
【转载】kafka相关知识
摘要：Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ 阅读全文
posted @ 2020-10-14 13:28 -拂石- 阅读(109) 评论(0) 推荐(0)
spark启动失败纠错
摘要：spark启动失败纠错 说明 hadoop集群是用ambari搭建的，照理来说不会出现配置错误的问题 错误出现在使用spark-shell指令启动的时候 按网上说的看了很多，错误原因无非网络，配置失误，内存不够等等，也做过一些修改的尝试，均失败 最后发现自己眼瞎，第五行就写着perimission 阅读全文
posted @ 2020-10-03 00:00 -拂石- 阅读(906) 评论(0) 推荐(0)
Zerotier_MOON配置
摘要：Zerotier_MOON配置 Z moon是什么，对于zerotier来说有什么作用 zerotier用于搭建虚拟局域网，但是其根服务器在国外，使用人数又多，因此通常压力巨大。 moon（月球）其名字本身就比较好地反映了其作用，用于搭建一个国内的“卫星”作为中转服务器，作为根节点速度慢，不稳定的一 阅读全文
posted @ 2020-10-01 23:09 -拂石- 阅读(3682) 评论(0) 推荐(0)