• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






守护式等待

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

05 2020 档案

 
压缩视频和图片
摘要：压缩视频和图片 产生详情参考https://www.cnblogs.com/yoyo1216/p/12986050.html import sys from PIL import Image import os import zlib import threading import platform 阅读全文
posted @ 2020-05-29 15:20 守护式等待 阅读(29) 评论(0) 推荐(0)
查看视频详细信息
摘要：安装mediainfo yum install mediainfo-gui yum install mediainfo 查看视频信息 阅读全文
posted @ 2020-05-29 11:08 守护式等待 阅读(241) 评论(0) 推荐(0)
ffmpeg简单使用教程 转码、压制、提取、截取、合并、录屏等
摘要：1.查看帮助文档 ffmpeg是一个开源的音视频转码工具 ffmpeg安装完成后，输入ffmpeg -h打印帮助文档 [root@localhost input]# ffmpeg -h ffmpeg version 2.8.15 Copyright (c) 2000-2018 the FFmpeg 阅读全文
posted @ 2020-05-29 10:36 守护式等待 阅读(551) 评论(0) 推荐(0)
centos7 创建用户
摘要：centos7 创建用户 adduser es (创建用户es) passwd es (创建es的密码, 不写es修改的是root用户的密码) chmod -v u+w /etc/sudoers （增加 sudoers 文件的写的权限，默认为只读） vi /etc/sudoers （修改 sudoe 阅读全文
posted @ 2020-05-18 17:18 守护式等待 阅读(344) 评论(0) 推荐(0)
logstash
摘要：装logstash（使用yum安装） rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 添加此文件和内容 vim /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Ela 阅读全文
posted @ 2020-05-18 16:27 守护式等待 阅读(426) 评论(0) 推荐(0)
linux下无法删除文件的解决办法
摘要：使用 lsattr 命令查看文件的附加属性。查看文件是否被赋予了 a , i 属性，如果含有这两个属性，文件是不能被删除的。 a：让文件或目录仅供附加用途； b：不更新文件或目录的最后存取时间； c：将文件或目录压缩后存放； d：将文件或目录排除在倾倒操作之外； i：不得任意更动文件或目录； s：保 阅读全文
posted @ 2020-05-18 10:01 守护式等待 阅读(1074) 评论(0) 推荐(0)
logstash 命令行配置选项
摘要：命令行标记 Logstash有以下标记，你可以使用--help标志来显示此信息。 --node.name NAME 指定此Logstash实例的名称，如果没有赋值，它将默认为当前主机名。 -f, --path.config CONFIG_PATH 从特定的文件或目录加载Logstash配置，如果给定 阅读全文
posted @ 2020-05-15 15:06 守护式等待 阅读(1144) 评论(0) 推荐(0)
clickhouse 集群使用
摘要：1.clickhouse-client clickhouse-client --multiline -h 192.168.107.216 --port 9000 -u ck --password ur6LMIUD # --multiline:SQL以逗号结束 不带这么输入一行sql 2.创建数据库 阅读全文
posted @ 2020-05-14 17:06 守护式等待 阅读(162) 评论(0) 推荐(0)
25 个常用 Matplotlib 图的 Python 代码
摘要：1. 散点图 Scatteplot是用于研究两个变量之间关系的经典和基本图。如果数据中有多个组，则可能需要以不同颜色可视化每个组。在Matplotlib，你可以方便地使用。 import numpy as np import pandas as pd import matplotlib as mpl 阅读全文
posted @ 2020-05-12 14:04 守护式等待 阅读(953) 评论(0) 推荐(0)
hadoop 集群搭建
摘要：1.Hadoop集群规划 HDFS: NN DN YARN: RM NM 192.168.107.216 NN RM DN NM 192.168.107.215 DN NM 192.168.107.214 DN NM 2.(每台)ssh免密码登陆 https://www.cnblogs.com/yo 阅读全文
posted @ 2020-05-09 10:03 守护式等待 阅读(148) 评论(0) 推荐(0)
Hive 基本使用
摘要：1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT 阅读全文
posted @ 2020-05-08 17:17 守护式等待 阅读(180) 评论(0) 推荐(0)
关于hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml文件配置详解
摘要：配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法: /us 阅读全文
posted @ 2020-05-08 10:21 守护式等待 阅读(5731) 评论(0) 推荐(1)
hive sql
摘要：1.DDL Hive Data Definition Language create、delete、alter... 2.Hive数据抽象/结构 database HDFS一个目录 table HDFS一个目录 data 文件 partition 分区表 HDFS一个目录 data 文件 bucke 阅读全文
posted @ 2020-05-07 20:47 守护式等待 阅读(111) 评论(0) 推荐(0)
hadoop hive
摘要：1.Hive底层执行引擎支持: MR/Tez/Spark 2.统一元数据管理: Hive数据是存放在HDFS 元数据信息(记录数据的数据)是存放在MySQL中 SQL on Hadoop: Hive、Spark SQL、impala.... 3.Hive体系架构 client: shell、thri 阅读全文
posted @ 2020-05-07 20:41 守护式等待 阅读(207) 评论(0) 推荐(0)
java 正则表达式
摘要：java 正则表达式 package com.project.utils; import org.apache.commons.lang.StringUtils; import java.util.regex.Matcher; import java.util.regex.Pattern; publ 阅读全文
posted @ 2020-05-06 16:21 守护式等待 阅读(196) 评论(0) 推荐(0)
hadoop yarn
摘要：1 YARN产生背景 MapReduce1.x ==> MapReduce2.x master/slave : JobTracker/TaskTracker JobTracker：单点、压力大 仅仅只能够支持mapreduce作业 资源利用率 所有的计算框架运行在一个集群中，共享一个集群的资源，按需 阅读全文
posted @ 2020-05-06 15:55 守护式等待 阅读(174) 评论(0) 推荐(0)
clickhouse 新建用户和密码
摘要：1.创建用户用户名和密码 PASSWORD=$(base64 < /dev/urandom | head -c8); echo "mypassword"; echo -n "mypassword" | sha256sum | tr -d '-' # 在服务器执行 mypassword:为你要设置的密 阅读全文
posted @ 2020-05-06 13:51 守护式等待 阅读(982) 评论(0) 推荐(0)
hadoop 自定义数据类型和reduce个数
摘要：1.Access.java // 定义hadoop用的数据类型 package com.mr.access; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; impo 阅读全文
posted @ 2020-05-05 11:02 守护式等待 阅读(48) 评论(0) 推荐(0)
hadoop word count
摘要：1.环境准备 1.讲centos的hadoop安装包解压到windows桌面 2.添加环境变量 HADOOP_HOME:E:\03-software_java\04-hadoop\hadoop-2.6.0-cdh5.9.0 path:%HADOOP_HOME%/bin 3.把winutils.exe 阅读全文
posted @ 2020-05-05 10:57 守护式等待 阅读(67) 评论(0) 推荐(0)
java 删除文件夹及其里面的文件
摘要：FileUtilsDelete.java // 删除文件和文件夹 package com.imooc.bigdata.hadoop.mr.wc; import java.io.File; public class FileUtilsDelete { /** * 删除文件，可以是文件或文件夹 * * 阅读全文
posted @ 2020-05-05 09:08 守护式等待 阅读(10785) 评论(0) 推荐(0)