[nacos]nacos2.x+nginx集群搭建以及过程中遇到的坑

参考文档及博客

nacos官方集群部署说明
centos7安装并配置jdk
nacos2.x集群实现
centos7安装mysql8
使用nginx反代nacos报错 badrequest 400

环境准备

• vmware虚拟机上跑的centos7 (原本内存2g 坑点之一!2g内存无法启动三台nacos集群,官方说明需要4g)
• centos7安装并配置jdk8
  • 安装教程参考 https://cloud.tencent.com/developer/article/1701443
• centos7手动编译安装nginx (笔者使用的版本是1.20.2)
  • https://nginx.org/en/download.html
  • 安装教程参考 https://juejin.cn/post/6844904134345228301
• centos7安装mysql (笔者使用的版本是8.0.30)

MySQL

为什么需要MySQL

nacos单机模式时使用的数据库是内嵌的derby数据库,但是集群时需要做数据同步,nacos官方使用MySQL作为数据同步中心

安装MySQL

• centos7默认yum源不包含MySQL而是mariadb,所以通过rpm安装MySQL
• 参考博客 https://www.jianshu.com/p/224a891932d8

执行nacos_config.sql脚本创建数据库

• 脚本下载 https://github.com/alibaba/nacos/blob/develop/distribution/conf/mysql-schema.sql
• 创建nacos_config库并执行脚本即可
  
• 笔者参考其他教程时发现nacos官方github对此文件做过rename,不排除之后也会有rename的可能,请自行到nacos github查看最新版本

nacos

安装nacos

参考 https://www.jianshu.com/p/6ba3fee4b97f

1. nacos官网下载最新版本 https://github.com/alibaba/nacos/releases (笔者使用的版本是nacos-server-2.1.1)
2. 分别解压三次到喜欢的路径做三台集群，nacos官网说明建议三台或三台以上nacos做集群
   
   笔者的路径结构如下
   

配置nacos

笔者以 nacos-8848为例, nacos-8838, nacos-8858修改对应的端口号即可

修改conf/application.properties

1. 解开数据库相关的注释,并修改实际的数据库名称与用户,如下
   
2. 修改端口号为8848

server.port=8848

3. 在nacos-8838和nacos-8858重复以上操作

修改conf/cluster.conf

1. 复制cluster.conf.example并改名为cluster.conf

mv cluster.conf.example cluster.conf

2. 将三台nacos集群ip:port写入

#2022-10-10T09:59:01.124
192.168.4.52:8838
192.168.4.52:8848
192.168.4.52:8858

nginx配置反向代理与负载均衡

配置反向代理和负载均衡

http {
    sendfile on;
    keepalive_timeout 65;
    upstream nginx_cluster {
        server 192.168.4.52:8838;
        server 192.168.4.52:8848;
        server 192.168.4.52:8858;
    }

    server {
        listen 8888;
        server_name vm52.com;
        
        location / {
            proxy_pass http://nginx_cluster;
            proxy_set_header Host $http_host;
        }
    }
}

1. 需要修改server_name为自己实际情况
2. 8888端口号可按实际情况自行选择
3. 坑点:

• 添加proxy_set_header Host $http_host;是为了解决无法通过vm52.com:8888/nacos访问时出现400 bad request的问题

配置grpc

是什么?

官方说明: Nacos2.0版本相比1.X新增了gRPC的通信方式，因此需要增加2个端口。新增端口是在配置的主端口(server.port)基础上，进行一定偏移量自动生成。

怎么配?

stream {
    upstream nacos-server-grpc {
        server 192.168.4.52:9838;
        server 192.168.4.52:9848;
        server 192.168.4.52:9858;
    }
    server {
        listen 9888;
        proxy_pass nacos-server-grpc;
    }
}

1. 其中9838 9848 9858端口是grpc请求服务端端口,由nacos端口号+1000得出, 9888是由8888端口+1000得出
2. 坑点:

• cluster的端口规则

# 端口规则
server.port(默认8848）
raft port: ${server.port} - 1000
grpc port: ${server.port} + 1000
grpc port for server: ${server.port} + 1001

可以看到grpc用于服务间同步的端口需要+1001,这就导致在虚拟机跑三台nacos时,三台nacos的端口是不能连续的,否则会出现端口冲突问题

编写shell脚本启动和停止nacos

startupall.sh

#!/bin/bash
echo "starting nacos 8847"
/usr/local/nacos/nacos-8838/bin/startup.sh
echo "starting nacos 8848"
/usr/local/nacos/nacos-8848/bin/startup.sh
echo "starting nacos 8849"
/usr/local/nacos/nacos-8858/bin/startup.sh

shutdown.sh

!/bin/bash
echo "starting nacos 8847"
/usr/local/nacos/nacos-8838/bin/shutdown.sh
echo "starting nacos 8848"
/usr/local/nacos/nacos-8848/bin/shutdown.sh
echo "starting nacos 8849"
/usr/local/nacos/nacos-8858/bin/shutdown.sh

Finally

执行nacos启动脚本

./startupall.sh

启动nginx

./nginx -c /usr/local/nginx/conf/nginx.conf

通过8888访问nacos

Enjoy it!