clickhouse安装部署以及版本选取

1. 系统要求

ClickHouse 可以在任何具有 x86_64、AArch64 或 PowerPC64LE CPU 架构的 Linux、FreeBSD 或 Mac OS X 上运行。官方预构建的二进制文件通常针对 x86_64 进行编译并利用 SSE 4.2 指令集。如下命令检查当前 CPU 是否支持 SSE 4.2:

grep -q sse4_2 proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

 

如果支持会输出 SSE 4.2 supported 信息。

要在不支持 SSE 4.2 或不具有 AArch64、PowerPC64LE 架构的处理器上运行 ClickHouse,需要编译源代码构建 ClickHouse。

版本选择:版本命名规则 Year.Major.Minor.patch

  1)Year.Major.1.patch 1 表示测试版,大于1表示稳定版本。

  2)有重大的更新和新特性主要在Minor为2的版本。

  3)体验最新的测试功能 可以选择prestable或者testing版本。

  4)对于企业来说可以选择LTS的稳定版本,差不多6个月发布一个LTS版本,一年发布两个。维护的周期要比stable版本长。

 

2. 安装

2.1 使用 RPM 包

我们的系统是 CentOS,所以在这使用 RPM 包方式安装 ClickHouse

对于 CentOS、RedHat 和所有其他基于 rpm 的 Linux 发行版,建议使用官方预编译的 rpm 包。首先,您需要添加官方存储库:

sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64

 

然后运行如下命令来安装软件包:

sudo yum install clickhouse-server clickhouse-client

 

我们还可以从这里手动下载和安装软件包。

除此之外,还可以通过使用DEB包、Tgz包以及Docker镜像的方式安装。下面还会简单介绍如何使用DEB包、Tgz包进行安装。

2.2 使用DEB包

Debian 或 Ubuntu 系统建议使用官方预编译的 deb 包进行安装。运行这些命令来安装软件包:

sudo apt-get install apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4

echo "deb https://repo.clickhouse.tech/deb/stable/ main/" | sudo tee \
etc/apt/sources.list.d/clickhouse.list
sudo apt-get update

sudo apt-get install -y clickhouse-server clickhouse-client

sudo service clickhouse-server start
clickhouse-client

 

如果您想使用最新版本,请将 stable 替换为 testing(适合测试环境)。

我们还可以从这里手动下载和安装软件包。

2.3 使用Tgz包

对于无法安装 deb 或 rpm 软件包的所有 Linux 发行版,建议使用官方预编译的 tgz 包。可以使用 curl 或 wget 从存储仓库下载所需的版本。最新版本示例:

export LATEST_VERSION=`curl https://api.github.com/repos/ClickHouse/ClickHouse/tags 2>/dev/null | grep -Eo '[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+' | head -n 1`
curl -O https://repo.clickhouse.tech/tgz/clickhouse-common-static-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-common-static-dbg-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-server-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-client-$LATEST_VERSION.tgz

tar -xzvf clickhouse-common-static-$LATEST_VERSION.tgz
sudo clickhouse-common-static-$LATEST_VERSION/install/doinst.sh

tar -xzvf clickhouse-common-static-dbg-$LATEST_VERSION.tgz
sudo clickhouse-common-static-dbg-$LATEST_VERSION/install/doinst.sh

tar -xzvf clickhouse-server-$LATEST_VERSION.tgz
sudo clickhouse-server-$LATEST_VERSION/install/doinst.sh
sudo etc/init.d/clickhouse-server start

tar -xzvf clickhouse-client-$LATEST_VERSION.tgz
sudo clickhouse-client-$LATEST_VERSION/install/doinst.sh

 

2.4 修改data路径

为便于统一控制相关数据文件,建议使用自定义路径替代官方指定路径。

推荐更改以下路径

<path>/data/clickhouse/</path>#数据的目录路径。
<tmp_path>/data/clickhouse/tmp/</tmp_path>#用于处理大型查询的临时数据的路径。
<user_files_path>/data/clickhouse/user_files/</user_files_path> #包含用户文件的目录,在表函数file()中使用。
<access_control_path>/data/clickhouse/access/</access_control_path>#配置权限管理数据的存储位置  [与users.xml 中的  <access_management>1</access_management> 一同使用,控制开启sql管理用户]
<format_schema_path>/data/clickhouse/format_schemas/</format_schema_path> #包含输入格式文件(例如CapnProto格式的方案)的目录路径

针对access理解可查看:SQL-driven来管理用户权限

3. 启动

有两种方式可以启动 ClickHouse,一种使用 service 方式启动,一种使用 systemctl 方式启动。如下使用 service 方式以守护进程方式启动:

sudo service clickhouse-server start

如果您没有 service 命令,可以运行 sudo etc/init.d/clickhouse-server start 命令。

若 service 启动过程报 Init script is already running 错误,运行 clickhouse-client 命令报 Connection refused 错误,则使用 systemctl 方式启动:

sudo systemctl start clickhouse-server

 

可以使用 sudo systemctl stop clickhouse-server 命令停止服务。

通过上图我们可以看出在 var/log/clickhouse-server/ 目录下查看日志。

启动过程中入出现以下异常

 Cannot obtain modification time for key file /etc/clickhouse-server/server.key, skipping update. errno: 2, strerror: No such file or directory

CertificateReloader: Poco::Exception. Code: 1000, e.code() = 0, SSL context exception: Error opening Diffie-Hellman parameters file /etc/clickhouse-server/dhparam.pem: error:02000002:system library:OPENSSL_internal:No such file or directory

则需要生成使用证书,避免后续启动报错。

#生成证书
openssl req -subj "/CN=localhost" -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout /etc/clickhouse-server/server.key -out /etc/clickhouse-server/server.crt
#pem证书,执行此命令需要4分钟才能执行完成
openssl dhparam -out /etc/clickhouse-server/dhparam.pem 4096
#如果运行时间过长可以采用随机数参数生成方式 可有效缩短时间
openssl dhparam -rand rand.seed
-out /etc/clickhouse-server/dhparam.pem 4096
 

 

此外,我们还可以从控制台手动启动服务器:

sudo -u clickhouse  clickhouse-server --config-file=/etc/clickhouse-server/config.xml

如果配置文件在当前目录下,则不需要指定 –config-file 参数。默认情况下,使用 ./config.xml。ClickHouse 支持访问限制设置,可以修改 users.xml 文件。默认情况下,允许默认用户从任何地方访问,无需密码。

注意:如果使用普通用户安装启动,,需要sudo权限,注意配置中的自定义数据文件相关路径。

chmod 777 -R /home/ad/clickhouse # 读写执行 都需要 最好上级
#如果仍有权限错误,赋予上级755
# cd /home 

# sudo chmod 755 -R ad/
cd /etc

sudo chown -R ad:ad  clickhouse-server 

sudo chmod 755  -R  clickhouse-server 

sudo chown -R ad /var/log/clickhouse-server/

sudo -u ad clickhouse-server -C /etc/clickhouse-server/config.xml --daemon

 

 

4. 运行

启动服务器后,我们可以使用命令行客户端连接到它:

clickhouse-client

默认情况下,表示用户默认连接到 localhost:9000,无需密码。还可用于使用 –host 参数连接到远程服务器。

集群方式需要注意修改/etc/clickhouse-server/config.xml,简单集群搭建不需要zookeeper,自身即可解决,注意config.xml各个服务器需要一致。创建用户以及调整用户权限,通过新增修改users.xml文件完成。

注意配置listen_host:

#  <!--<listen_host>用于限制来源主机的请求-->
    <!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept connections both with IPv4 and IPv6 from everywhere. -->
    <!-- <listen_host>::</listen_host> -->
    <!-- Same for hosts with disabled ipv6: -->
    <!-- <listen_host>0.0.0.0</listen_host> -->

#(1)允许IP4和IP6源主机远程访问

<listen_host>::</listen_host>

#(2)仅允许IP4主机远程访问

<listen_host>0.0.0.0</listen_host>

#(3)仅允许本地访问

<!-- Default values - try listen localhost on ipv4 and ipv6: -->
    
<listen_host>::1</listen_host>
<listen_host>127.0.0.1</listen_host>
  

 

  由于ClickHouse安装后,默认client连接端口是9000,这个端口跟CDH的cloudera manager agent的默认端口相同。且ClickHouse默认9000端口是绑定在127.0.0.1上的,无法从其他机器连接ClickHouse。

解决方式:

1)仅允许IP4主机远程访问

 <listen_host>0.0.0.0</listen_host> 
#这样远程都可以访问了,但是禁用了IPV6

2) 修改端口和绑定地址

找到9000的配置项,将默认值9000改成其他,比如我改成9020

<tcp_port>9020</tcp_port>

<listen_host>::</listen_host>

#更改默认client端口后,需要指定port参数指定端口登录。
clickhouse-client --port 9020

 

5. 卸载

#1、查看已安装包
rpm -qa | grep clickhouse
#2、卸载clickhouse相关软件
#1)可以yum卸载
sudo yum remove -y clickhouse-client.noarch
sudo yum remove -y clickhouse-common-static.x86_64
sudo yum remove -y clickhouse-server.noarch
#2)或rpm 卸载
rpm -e clickhouse-client-20.5.4.40-2.noarch --nodeps 
rpm -e clickhouse-server-20.5.4.40-2.noarch --nodeps 
rpm -e clickhouse-common-static-20.5.4.40-2.x86_64 --nodeps
#3、删除相关的目录和数据
#数据目录
rm -rf /var/lib/clickhouse
#删除集群配置文件
rm -rf /etc/metrika.xml
#删除配置文件
rm -rf /etc/clickhouse-*
#删除日志文件
rm -rf /var/log/clickhouse-server
#4、全局查找clickhouse文件和目录,如果存在,则全部删除
find / -name clickhouse

 

 

posted @ 2022-01-18 17:12  渐逝的星光  阅读(3428)  评论(0编辑  收藏  举报