摘要：
Redis集群部署 1. 本文集群结构 一共三个节点，每个节点启动两个redis-server作为主备进程，以6379为主，6380为备，主要使用redis5.0.5版本 ps:以下2、3、4、5步骤均需要在每台节点上配置 2. 安装redis cd /usr/local/ sudo mkdir r 阅读全文
摘要：
Mysql Error SQL ERROR 2013 注意区分ssh与数据库账号与密码，不要混淆填错 填写正确还是有问题则检查my.cnf文件中是否有 bind-address = 127.0.0.1 如有，请注释。 SQL ERROR 1130 问题原因在于刚安装的mysql默认情况下root用户 阅读全文
摘要：
hdfs fsimage和editlog fsimage，namenode的元数据镜像文件，保存在磁盘 editlog，namenode操作日志 fstime，最近一次的checkpoint时间 metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息 datanode上存储文 阅读全文
摘要：
MapReduce简单案例 案例一 文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 输入文件A的样例如下： 数据 20150101 x 20150103 阅读全文
摘要：
sbt换源 两种方法不一定都能用 方法一 Linux系统，则进入Bash执行如下命令： cd ~ mkdir .sbt cd .sbt 然后创建 repositories 文件内容如下，并将文件拷贝到 .sbt 目录下 [repositories] local huaweicloud-maven: 阅读全文
摘要：
Redis Cluster知识点概括性整合 Redis分区方案 redis的分区方案共有三种：客户端分区方案，代理分区方案，查询路由方案（cluster） Redis Cluster框架 redis采用去中心化的分布式结构框架，所有节点通过gossip协议相连，客户端只需直连其中一个节点即可进行访问 阅读全文
摘要：
python文件批量重命名 代码如下： # -*- coding: gbk -*- import os class fileRename(): def __init__(self, path): self.__path = path self.__order = {} self.__files = 阅读全文
摘要：
BiliBili视频信息爬虫可视化 说明 该可视化一共使用了四个数据源，分别是2017，2018，2019三年各五千条连续数据，以及总十万余条视频数据，用于总体与对比分析。** 可视化主要手段包括matplotlib以及pyecharts的两个版本（新版本1.7.1，旧版本0.1.9.4，两者语法区 阅读全文
摘要：
BiliBili视频信息爬虫 代码如下： import requests import random from bs4 import BeautifulSoup import json import pandas as pd import os import pickle import time i 阅读全文
摘要：
Linux终端将进程挂于后台的方法 如果希望终端关闭后，程序继续在后台运行 可以使用如下命令 nohup orderthere & 之后会提示一些信息，回车即可，此外，在使用nohup命令后，会自动将终端日志信息输出于当前目录下的nohup.out文件中。 命令中的&解释： 将该符号放置于启动参数后 阅读全文