clickhouse笔记
摘要:clickhouse笔记 1 clickhouse特点 1.1 完备的DBMS功能 DDL(数据定义语言):可以动态地创建、修改或删除数据库、表和视图,而无须重启服务。 DML(数据操作语言):可以动态查询、插入、修改或删除数据。 权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全
阅读全文
部署logstash项目
摘要:1.java安装https://www.cnblogs.com/yoyo1216/p/12668926.html 2.ruby安装 2.2 创建目录 yum install -y gcc-c++ patch readline readline-devel zlib zlib-devel libyam
阅读全文
metrika.xml详解
摘要:metrika.xml详解 vim /etc/metrika.xml <yandex> <clickhouse_remote_servers> <!-- 集群设置 --> <shunwang> <!-- clickhouse显示名称 可以自己修改 --> <shard> <!-- 一分片 --> <
阅读全文
users.xml配置详解
摘要:users.xml配置详解 <?xml version="1.0"?> <yandex> <profiles> <default> <max_memory_usage>10000000000</max_memory_usage> <!--单个查询最大内存使用量--> <max_memory_usag
阅读全文
clickhouse 配置文件详解
摘要:config.xml配置文件详解 <?xml version="1.0"?> <yandex> <logger> <level>trace</level> <log>/var/log/clickhouse-server/clickhouse-server.log</log> <!-- 日志存放目录
阅读全文
Logstash生成及安装离线插件
摘要:1.查看Logstash已安装的插件列表 ./bin/logstash-plugin list 2.导出离线插件包 在以及成功安装logstash-output-clickhouse服务器上次导出离线包 ./bin/logstash-plugin prepare-offline-pack logst
阅读全文
使用canal同步mysql数据到clickhouse
摘要:1.开启binlog https://www.cnblogs.com/yoyo1216/p/10209107.html mysql安装教程 # mysql配置文件/etc/my.cnf添加下面配置 vim /etc/my.cnf #插入下面内容 [mysqld] log-bin = mysql-bi
阅读全文
logstash
摘要:装logstash(使用yum安装) rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 添加此文件和内容 vim /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Ela
阅读全文
logstash 命令行配置选项
摘要:命令行标记 Logstash有以下标记,你可以使用--help标志来显示此信息。 --node.name NAME 指定此Logstash实例的名称,如果没有赋值,它将默认为当前主机名。 -f, --path.config CONFIG_PATH 从特定的文件或目录加载Logstash配置,如果给定
阅读全文
clickhouse 集群使用
摘要:1.clickhouse-client clickhouse-client --multiline -h 192.168.107.216 --port 9000 -u ck --password ur6LMIUD # --multiline:SQL以逗号结束 不带这么输入一行sql 2.创建数据库
阅读全文
clickhouse 新建用户和密码
摘要:1.创建用户用户名和密码 PASSWORD=$(base64 < /dev/urandom | head -c8); echo "mypassword"; echo -n "mypassword" | sha256sum | tr -d '-' # 在服务器执行 mypassword:为你要设置的密
阅读全文
clickhouse 优化
摘要:max_table_size_to_drop 1.此参数在 /etc/clickhouse-server/config.xml 中, 应用于需要删除表或分区的情况, 默认 50GB。 2.如果你要删除的分区或表, 数据量达到了此参数值大小, 会删除失败。 3.建议修改为 0, 代表无论数据多大, 都
阅读全文
clickhouse 表引擎
摘要:TinyLog: 1.数据存在磁盘中 2.不支持索引 3.没有并发控制 4.表占用空间比较小 5.适用于小表 6.适用于这个表数据基本不变的情况 7.数据保存在/var/lib/clickhouse/data目录中 目录结构是 库名称 表名称 字段名 CREATE TABLE t(a UInt16,
阅读全文
clickhouseSQL语法
摘要:1 CREATE #方式1 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEF
阅读全文
tabix 安装 配置连接clickhouse
摘要:1.环境准备: mkdir -p /usr/local/tabix cd /usr/local/tabix 2.下载tabix git clone https://github.com/smi2/tabix.ui # 下载 需要安装git 3.安装配置nginx https://www.cnblog
阅读全文
clickhouse 单机和集群安装
摘要:1.centos7 取消打开文件限制 ulimit -n # 查看打开文件下载 ulimit -a # 查看详情 vim /etc/security/limits.conf * soft nofile 1024000 * hard nofile 1024000 hive - nofile 10240
阅读全文