beeline -f

在大数据开发中，beeline 是 HiveServer2 的 JDBC 客户端。-f 参数的作用是 执行指定的 SQL 脚本文件（File），这在自动化运维和定时调度任务中非常常用。

1. 基础语法

beeline -u <连接字符串> -f <SQL文件路径>

2. 常用参数组合示例

在实际生产环境中，通常会配合认证信息和环境变量一起使用：

A. 基础模式（不含认证）

beeline -u "jdbc:hive2://localhost:10000/default" -f /path/to/my_script.sql

B. Kerberos 认证模式（最常用）

在开启了 Kerberos 的集群中，需要先执行 kinit，然后在连接串里指定 principal：

kinit -kt user.keytab user@EXAMPLE.COM
beeline -u "jdbc:hive2://node1:10000/default;principal=hive/node1@EXAMPLE.COM" -f /home/hadoop/etl_process.sql

C. 账号密码模式

beeline -u "jdbc:hive2://node1:10000/default" -n my_user -p my_password -f query.sql

---

3. 高级进阶技巧

• 传递变量 (--hivevar)

  如果你的 SQL 脚本里有变量（例如 ${dt}），可以通过以下方式动态传参：

  -- SQL文件内容：select * from user_log where dt = '${dt}';
  beeline -u "..." -f script.sql --hivevar dt=20240101
  

• 静默模式 (--silent)

  如果你只想看查询结果，不想看到连接日志和各种 OK 的提示信息，可以加上静默模式：

  beeline -u "..." --silent=true -f query.sql
  

• 输出到文件

  通常配合 Shell 的重定向符号将执行结果保存：

  beeline -u "..." -f query.sql > output.txt
  

---

4. 常见问题排查

现象	可能原因
执行没反应	检查 -u 后面的 JDBC 地址是否正确，网络是否通畅。
Permission denied	运行 beeline 的系统用户没有读取该 .sql 文件的权限，或者没有 HDFS 写入权限。
SQL 语法错误	beeline -f 只是把文件内容发送给 Hive，建议先在交互模式下执行一两行 SQL 确认没问题再写脚本。

总结

beeline -f 是将 SQL 逻辑脚本化的关键。在生产环境中，我们通常将其写在 .sh 脚本里，配合 crontab 或任务调度系统（如 DolphinScheduler、WeData）来运行。