其他 - 随笔分类 - jinzhenshui

简单的运行 hive

摘要：（可选）安装单节点的zookeeper 【必须】安装单节点的hadoop 【安装】单节点的hive，必须与hadoop在一起，需要HADOOP_HOME 正常使用hive的基本配置，要有metastore的正确配置。 Step1：在HIVE_HOME/conf/下，创建最高优先级的配置文件： hi 阅读全文

posted @ 2025-12-30 10:16 jinzhenshui 阅读(2) 评论(0) 推荐(0)

Mysql：通用mysql备份脚本：纯shell实现：支持自动包含用户数据库、支持压缩、支持自动清理

摘要：#!/bin/bash MYHST=127.0.0.1 MYUSR=root MYPWD=pass PREFIX=bkdb SUFFIX=`date +%Y%m%d`.sql DESTDIR=/bak # if [ ! -e "${DESTDIR}" ] then echo "fatal error 阅读全文

posted @ 2025-09-10 10:02 jinzhenshui 阅读(10) 评论(0) 推荐(0)

Windows 上简单的iscsi-target服务程序：ISCSIConsole

摘要：如题：本站下载地址：https://files.cnblogs.com/files/jinzhenshui/ISCSIConsole_1.5.5.zip?t=1756966275&download=true 阅读全文

posted @ 2025-09-04 14:13 jinzhenshui 阅读(41) 评论(0) 推荐(0)

ceph：麒麟v10仓库版本的ceph-12.2.8-24.p02.ky10.x86_64，代号：luminous，基本的配置ceph.conf

摘要：不报警的配置（不一定正确合理） [root@node101 ~]# cat /etc/ceph/ceph.conf [global] fsid=8a6abc4c-ffa4-41f6-9d93-808057c8b654 mon_initial_members=node101 mon_host=10.0 阅读全文

posted @ 2025-08-01 09:03 jinzhenshui 阅读(16) 评论(0) 推荐(0)

Linux下：zstd 如何压缩、解压缩文件夹？

摘要：# 文件夹：压缩tar -cvf - {?} | zstd -o {?}.zst # 文件夹：解压缩zstd -d {?}.zst -c |tar -tvf - 阅读全文

posted @ 2025-04-24 16:50 jinzhenshui 阅读(437) 评论(0) 推荐(0)

纳米搜索：问答@多模型协作：“农民公如何挣到钱？”

摘要：农民工要挣到钱可以从以下方面着手：一、当前农民工就业市场现状分析目前，农民工就业呈现出多种特点。从行业分布来看，很多农民工集中在建筑工程领域，但随着房地产市场饱和和建筑智能机器人发展，建筑领域的就业机会有所减少。还有部分农民工进入工厂成为流水线工人，或者在服务行业从事快递、外卖配送等工作。整体而阅读全文

posted @ 2025-02-11 09:18 jinzhenshui 阅读(47) 评论(0) 推荐(0)

豆包AI写的perl脚本程序：解析包含多个sql语句的sql文件，输出（并执行）之；支持复杂的注释、字符串内包含分隔符注释符、并支持自定义delimiter

摘要：```perl#!/usr/bin/perluse strict;use warnings;use DBI; # 全局变量，用于控制脚本的执行模式# 当 $run_at_server 为 1 时，脚本会连接到 MySQL 数据库并执行 SQL 语句# 当 $run_at_server 为 0 时，脚阅读全文

posted @ 2025-02-10 11:06 jinzhenshui 阅读(94) 评论(0) 推荐(0)

deepseek 的解释：大型语言模型（LLM）为什么需要进行大规模数据训练？

摘要：@2025-02-07 09:00:00 大型语言模型（LLM）之所以需要进行大规模数据训练，主要是因为自然语言的复杂性和多样性。以下是大规模数据训练的关键原因： ### **1. 捕捉语言的多样性**自然语言具有极高的多样性，包括：- **词汇多样性**：同一个意思可以用多种方式表达（如“高兴”和阅读全文

posted @ 2025-02-07 09:10 jinzhenshui 阅读(97) 评论(0) 推荐(0)

fio：选择基于size与基于time的测试，还是即基于size又基于time？其中关键的测试方向参数：-time_based\-runtime VS -size

摘要：默认是基于size的（当指定-filename时，如果该文件或裸设备存在，则fio默认使用其文件或设备的size大小；如果不存在，fio会报错并提示你）。此时，如果你【未指定】-runtime，如果-filename的文件或裸设备以及io完了，测试即结束。如果你指定了-runtime，如果-f 阅读全文

posted @ 2024-11-14 14:26 jinzhenshui 阅读(496) 评论(0) 推荐(0)

Excel：2007+ 最大行数：2^20 = 1048576

摘要：阅读全文

posted @ 2024-10-31 09:20 jinzhenshui 阅读(62) 评论(0) 推荐(0)

其他：VirtualBox 启动 CentOS7 虚拟机时，错误：提示 Error [drm:vmw_host_log [vmwgfx]]：启动不了，原因是：存储类型不对

摘要：如题。注意：这个错误，对于使用console模式的linux来说，根本不致命。如果不限难看，可以不用理会它。对于我的情况来说，到这个错误后，centos虚拟机就hang死了，必须得处理，一番探索下来，发现是虚拟机配置里的磁盘存储类型配置问题！阅读全文

posted @ 2024-09-26 11:06 jinzhenshui 阅读(132) 评论(0) 推荐(0)

Hyper-V (NAT) + DHCP server：实现灵活的虚拟机网络（虚拟交换机路由器）：类似于vmware的

摘要：vmware workstation （pro）有4种内置虚拟网络交换机 1：桥接：虚拟机网络就是真正的物理机网络。虚拟机之间，虚拟机和宿主机，虚拟机和其他物理机之间，通过常规的网络方式访问。 2：nat网络：虚拟机之间、虚拟机和宿主机可互访；虚拟机可访问其他物理机；其他物理机【不能】访问虚拟机 3 阅读全文

posted @ 2024-09-23 13:15 jinzhenshui 阅读(904) 评论(0) 推荐(0)

摘要：@2024-08-11 更新附件：Portable_Openssl-Openssh9.8p1-bin-el7.v1.4.1.tgz.zip 特点：适用于 centos7.x 已经编译为二进制对老版本的关键二进制文件sshd、sftp、scp、openssl进行了备份升级前，自动打开一个端口为阅读全文

posted @ 2024-08-10 22:35 jinzhenshui 阅读(54) 评论(0) 推荐(0)

S3：Rclone：非常好用的S3备份、同步工具。

摘要：step 0：配置backends step 1：copy、sync、move 操作我所关心的核心参数： --buffer-size SizeSuffix In memory buffer size when reading files for each --transfer (default 1 阅读全文

posted @ 2024-07-30 14:26 jinzhenshui 阅读(502) 评论(0) 推荐(0)

Linux：S3 client 支持使用pipe管道stdin输入的工具

摘要：s3cmd 及其衍生版都支持put操作，支持pipe输入stdin： zosutil put s3cmd put aws s3 cp ######################################## todo ... 阅读全文

posted @ 2024-07-29 21:21 jinzhenshui 阅读(27) 评论(0) 推荐(0)

WireGuard windows客户端：wireguard-amd64-0.5.3.msi

摘要：wireguard-amd64-0.5.3.msi 阅读全文

posted @ 2024-07-08 10:51 jinzhenshui 阅读(711) 评论(0) 推荐(0)

Nginx：也是一款牛x 的 tcp端口转发器！

摘要：stream { ################################################################################### server { listen 33243 tcp reuseport; proxy_timeout 8h; pr 阅读全文

posted @ 2024-07-04 15:49 jinzhenshui 阅读(53) 评论(0) 推荐(0)

Mysql：canal-adapter：如何设置多个 src 源数据库连接？！

摘要：如图：是yml语法中的多个对象！而不是列表（数组）！仔细想想，有道理！因为源可能是各种各样的”数据库“系统。阅读全文

posted @ 2024-04-29 11:31 jinzhenshui 阅读(103) 评论(0) 推荐(0)

Mysql：canal-admin 如何驱动 canal-deployer（server）？

摘要：v1.1.8-alpha 内： step 1：必须先启动 admin step 2：然后，在admin 的gui界面内手动添加（单机）要通过admin管理的deployer的配置！ * 如果不在admin内事先配置deployer的配置，后续启动deployer是启动不来的，提示找不到相应的配置文阅读全文

posted @ 2024-04-23 20:52 jinzhenshui 阅读(49) 评论(0) 推荐(0)

centos7：源代码编译 openssh 1.0.2u，构建可在centos7使用的 rpm包

摘要：如题。核心是编辑源代码包中的"openssl.spec",使之符合centos 7的发行版规范！技术难点、重点、核心点：千万注意：不能有不适合的配置，比如有不合适的： Requires：openssl, as son 阅读全文

posted @ 2024-04-11 20:42 jinzhenshui 阅读(42) 评论(0) 推荐(0)

随笔分类 - 其他