Loading

该文被密码保护。 阅读全文
posted @ 2020-06-10 14:07 codesucks 阅读(0) 评论(0) 推荐(0)
摘要: 背景 最近在工作中遇到一个应用场景,客户希望 Slurm 超算集群的算力服务器能够像云服务器那样弹性伸缩,这个需求十分合理且在云计算领域早已十分成熟,虚拟化、容器化、k8s等在新兴行业早已得到了充分的验证,但由于传统行业的计算场景偏向于超大规模、稳定性波动没有达到非常小的力度,传统解决方案通常是通过 阅读全文
posted @ 2026-08-11 14:27 codesucks 阅读(8) 评论(0) 推荐(0)
摘要: 背景 最近想在HPC系统中集成一个 WebSSH 功能,以便用户可以不用安装软件实现在浏览器中就进行命令操作。考虑到多用户使用以及最近频发的提权问题,还需要增加一个命令录制功能。 例如 JumpServer 这类堡垒机,通常只面向运维和操作人员,面对的是机器很多的场景;而 HPC 环境下机器固定的可 阅读全文
posted @ 2026-08-03 17:20 codesucks 阅读(5) 评论(0) 推荐(0)
摘要: 背景 需要在 kylin v10 sp3 aarch64 上安装 vscode,但最新版提示c库版本过低无法安装,需要找到最后一个兼容的版本 效果展示 解决办法 安装 1.100.3-1748872513 版本的 vscode strings /usr/lib64/libstdc++.so.6 \ 阅读全文
posted @ 2026-07-22 08:42 codesucks 阅读(40) 评论(0) 推荐(0)
摘要: 背景 最近在做 slurm 相关的应用部署,需要压测一下是否会对 MariaDB 造成较大影响,需要对数据库进行监控。 效果展示 安装方法 1. 创建监控用户 # 登录数据库,请修改密码为你自己的密码 CREATE USER 'exporter'@'localhost' IDENTIFIED BY 阅读全文
posted @ 2026-07-14 13:35 codesucks 阅读(12) 评论(0) 推荐(0)
摘要: 背景 最近遇到一个机器接了一个以太网和一个USB网卡,在 curl 指定 USB 网卡访问互联网时发现无法收到正常的响应,使用tcpdump排查发现实际上有回包,但是应用层完全没有响应 22:43:48.730252 IP 10.121.60.168.37668 > 223.119.30.220.5 阅读全文
posted @ 2026-07-08 23:11 codesucks 阅读(37) 评论(0) 推荐(0)
摘要: 背景 企业级应用需要健壮的Token服务 Token 生产效率的度量与计算公式 指标类别 指标名称 指标说明 计算公式 优化方法 Token 产能效率 上下文长度 (Context Window) 上下文长度 = 大模型一次能记住和处理的最大文字总量(用 Token 计量),即:AI 一次性能看完、 阅读全文
posted @ 2026-07-07 17:20 codesucks 阅读(31) 评论(0) 推荐(0)
摘要: 背景 多方面因素导致国产设备将会是未来大模型在各种组织内落地的主流 国产 AI 芯片厂商及主要产品 厂商名称 主流产品 核心参数 应用场景与市场情况 华为 (Huawei) 昇腾 (Ascend) 910B 工艺: 7nm算力: FP16/ BF16 256 TFLOPS显存: 64GB HBM2e 阅读全文
posted @ 2026-07-07 15:54 codesucks 阅读(107) 评论(0) 推荐(0)
摘要: 背景 遇到一个因为其他同事修改配置导致密码忘记的 Case,导致忘记了原始密码,可以使用一个中间容器来恢复密码,虽然是容器操作,但是非容器部署也同理实际上 解决办法 假定需要恢复的 mysql 数据库容器为 db # 1. 停止服务 docker compose stop db # 2. 使用相同镜 阅读全文
posted @ 2026-07-01 10:52 codesucks 阅读(25) 评论(0) 推荐(0)
摘要: 背景 大模型需要庞大的算力需求,于是单机单卡无法容纳与日俱增的模型权重文件,大家又想到了分布式 大模型中的几种分布式 1. DP数据并行 最简单的并行方式,每个GPU上有一套完整的模型副本 2. TP张量并行 把模型权重切分开,每个GPU只计算一部分权重 3. PP流水线并行 把模型的层分配给不同的 阅读全文
posted @ 2026-06-18 17:48 codesucks 阅读(10) 评论(0) 推荐(0)
摘要: 最终效果 背景介绍 因为 Gitlab 中国区新版本已经由国内的极狐接管,迫于使用习惯,我们还是使用原汁原味的 Gitlab 官方维护的版本,这里使用的版本是 15.11.13,因为新的 UI 实在是显得太臃肿了,我们使用 Docker 来部署,需要准备的内容有: gitlab.xxx.xxx 域名 阅读全文
posted @ 2026-06-06 00:39 codesucks 阅读(23) 评论(0) 推荐(0)
摘要: 最终效果 TODO 背景 slurm集群的基本使用情况通常需要用户主动使用sinfo或者scontrol mingling来获取,不利于集群管理,例如预估作业排队时间等,需要考虑使用一种监控工具并持久化存储系统的资源情况,一般有下面几种手段 Prometheus + Exporter pyslurm 阅读全文
posted @ 2026-06-04 18:04 codesucks 阅读(20) 评论(0) 推荐(0)
摘要: 最终效果展示 问题描述 直接使用sudo dnf group install -y "Xfce"安装会导致把gnome也装进去,因为会默认安装gdm,而gdm又会把gnome-shell带进去,使用dnf group info "Xfce"可以查看 dnf group info "Xfce" Las 阅读全文
posted @ 2026-05-30 22:43 codesucks 阅读(77) 评论(0) 推荐(0)
摘要: 效果 260714 更新 最近曝出安全风险,已经升级到了不受影响的版本,安装方法同理 1. 管理员打开powershell到当前目录,运行Add-AppxPackage -Path ".\Claude.msix" 2. 安装cc desktop switch 并配置供应商,点击一键应用 3. 打开c 阅读全文
posted @ 2026-05-27 15:49 codesucks 阅读(21627) 评论(25) 推荐(4)
摘要: 使用预览: 阅读全文
posted @ 2026-05-20 17:28 codesucks 阅读(31) 评论(0) 推荐(0)
摘要: 简要说明 使用Nice DCV搭建浏览器能访问的远程桌面服务,适合对外服务场景,包含了多个组件适合多种功能场景,可二次开发进行扩展,能够实现复杂的功能(基于容器的桌面、GPU加速等),详细可以参考:基于 Amazon DCV的Web远程桌面应用管理平台实践 DCV包含如下的组成部分(单节点只需要基本 阅读全文
posted @ 2026-05-19 17:32 codesucks 阅读(47) 评论(2) 推荐(0)
摘要: 在ETX下中文输入法无法直接使用问题,修改.profile文件输入如下内容关闭会话重新打开即可 export GTK_IM_MODULE=fcitx export QT_IM_MODULE=fcitx export XMODIFIERS=@im=fcitx 阅读全文
posted @ 2026-05-15 16:45 codesucks 阅读(27) 评论(0) 推荐(0)
摘要: 通过修改bash源代码,然后重新编译,实现将收集用户的所有操作信息 潜在问题: 如果用户修改shell为其他则会不生效 数据应该记录到哪里(用户必须能写入) 阅读全文
posted @ 2026-05-11 17:15 codesucks 阅读(10) 评论(0) 推荐(0)
摘要: https://github.com/thomisus/Docker-DocumentServer 阅读全文
posted @ 2026-05-09 18:06 codesucks 阅读(15) 评论(0) 推荐(0)
摘要: 工作中遇到一个作业数据同步的问题,Slurm作业记账数据默认存在了MariaDB中,由于其表结构实在是太烂,几乎只有利用sacct工具才能导出所有的作业信息,但是当我们的作业数据量达到几千万甚至上亿条时,会花费非常长时间,因为我考虑用jobcomp插件来完成作业状态信息的记录,但是原有的jobcom 阅读全文
posted @ 2026-05-08 23:59 codesucks 阅读(17) 评论(0) 推荐(0)
摘要: 最终效果 Nexus私服仓库,版本:3.91.1-04 背景 支持多种制品类型的成熟软件很少,例如Jfrog Artifactory、Nexus或者是针对容器镜像制品的Harbor,如果要在本地构建一套完整的制品仓库(包含镜像功能)非常不容易,学习中我们来使用Sonatype Nexus Repos 阅读全文
posted @ 2026-05-08 23:55 codesucks 阅读(34) 评论(0) 推荐(0)
摘要: INTEL下的性能分析工具有很多,但是ARM下的兼容都不是很好,只有几款软件例如score-p、tau等有比较好的效果,学习我们用ArmForge来进行一个演示 阅读全文
posted @ 2026-05-08 23:49 codesucks 阅读(11) 评论(0) 推荐(0)
摘要: 集群中经常使用商业软件来做计算,一般采用flextnet publisher或RLM来管理,学习中我们用flexnet来做演示 需求 开启flextnet lmadmin服务 配置license 配置供应商守护程序vendor daemon 启动许可证服务供客户端签出使用 阅读全文
posted @ 2026-05-08 23:43 codesucks 阅读(16) 评论(0) 推荐(0)
摘要: 远程桌面可以考虑采用商业或开源软件,学习中我们用Exceed Turbo X作为案例演示 需求: 配置登录节点为连接节点 配置XFCE4桌面Profile 阅读全文
posted @ 2026-05-08 23:40 codesucks 阅读(22) 评论(0) 推荐(0)
摘要: 常见的运维操作例如 巡检集群状态 设置队列(分区)信息 设置QOS、优先级等信息 对节点和作业状态进行管理 阅读全文
posted @ 2026-05-08 23:37 codesucks 阅读(17) 评论(0) 推荐(0)
摘要: 使用patch文件为集群打补丁 阅读全文
posted @ 2026-05-08 23:36 codesucks 阅读(17) 评论(0) 推荐(0)
摘要: 常见运维操作,在集群中配置节点 阅读全文
posted @ 2026-05-08 23:35 codesucks 阅读(13) 评论(0) 推荐(0)
摘要: 登录节点是用户实际能看到和访问的节点,可以是纯命令行、远程桌面或者是浏览器网页封装等方式来访问 需求: 普通用户只能登录登录节点 作业只能从登录节点发起 阅读全文
posted @ 2026-05-08 23:34 codesucks 阅读(15) 评论(0) 推荐(0)
摘要: 计算节点只用来接受用户作业,如果用户没有作业的时候是禁止用户登录的 阅读全文
posted @ 2026-05-08 23:32 codesucks 阅读(12) 评论(0) 推荐(0)
摘要: 演示中仅使用一台控制节点,LSF的安装采用每台节点的本地目录 需求: 安装在/opt/lsf目录 阅读全文
posted @ 2026-05-08 23:31 codesucks 阅读(10) 评论(0) 推荐(0)
摘要: 超级计算集群中,用户家目录和数据目录一般都是用共享文件系统,来确保多个计算节点能够读取同样的文件,实现方式有多种如NFS、Lustre等,学习环境我们就用NFS来做演示 需求: 家目录和项目目录分为两个卷 使用autofs和ldap属性控制用户的目录加载,节省服务器连接资源 实现复杂的目录权限控制, 阅读全文
posted @ 2026-05-08 23:29 codesucks 阅读(11) 评论(0) 推荐(0)
摘要: 使用OpenLDAP+SSSD让所有客户端实现共享身份认证,实现以下功能 多节点共享同一套用户体系 管理用户的SSH密钥 控制用户能使用哪些sudo命令 控制账号到期时间 控制账号密码策略(复杂度、多久必须修改一次等) 阅读全文
posted @ 2026-05-08 23:23 codesucks 阅读(13) 评论(0) 推荐(0)
摘要: 获取values.yaml helm show values --version=2.11.6 apisix/apisix > values1.yaml 修改values.yaml 1. pvc 由于我本地使用的是nfs存储,因此需要修改etcd的pvc定义 persistence: storage 阅读全文
posted @ 2025-09-12 22:03 codesucks 阅读(133) 评论(0) 推荐(0)
摘要: CentOS CentOS版本 发行日期 内核版本 防火墙实现 网络管理实现 服务管理实现 6.0 2011-07-10 2.6.32-71 iptables NetworkManager Upstart 6.1 2011-12-13 2.6.32-131 iptables NetworkManag 阅读全文
posted @ 2024-05-15 22:26 codesucks 阅读(131) 评论(0) 推荐(0)
摘要: 介绍 Lmod是一个用于管理环境模块的工具,通常用于大型计算机集群或超级计算机上。它能够帮助用户加载、卸载和切换软件包、库和其他环境设置,使得在不同软件版本之间进行切换变得简单。Lmod支持模块缓存、版本控制和自定义模块目录,可以根据用户需求进行灵活配置。它还提供了丰富的命令和选项,方便用户进行环境 阅读全文
posted @ 2024-04-19 21:46 codesucks 阅读(299) 评论(0) 推荐(0)
摘要: 基础知识 插槽socket:服务器上的物理CPU插槽,双路CPU指的是服务器上可以插2个物理CPU 核心:现代CPU为多核架构,CPU中的可独立调用的处理器但愿 超线程:单个CPU核心虚拟为多个逻辑核心,充分利用计算单元的资源,例如8核16线程可能就是包括了超线程的虚拟核心 NUMA架构:每个插槽中 阅读全文
posted @ 2024-04-11 10:43 codesucks 阅读(96) 评论(0) 推荐(0)
摘要: ![](https://img2022.cnblogs.com/blog/1627847/202211/1627847-20221110225310739-535713779.png) ![](https://img2022.cnblogs.com/blog/1627847/202211/1627847-20221110224459800-1972038214.png) 阅读全文
posted @ 2022-11-10 23:10 codesucks 阅读(56) 评论(0) 推荐(0)
摘要: 考试题型 选择15*2 填空15*2 编程15*2 问答10*1 考试重点 安卓4层体系架构 应用程序层:应用程序集合,所有的应用程序属于这一层 应用程序框架:提供了构建程序的各种API 核心类库:提供了系统库和Android运行时,包含Dalvik虚拟机 Linux内核:提供驱动,显示驱动、音频驱 阅读全文
posted @ 2020-11-23 07:39 codesucks 阅读(210) 评论(0) 推荐(0)
摘要: 数据交互 页面组件读取数据 以表格数据为例 1. 在页面中使用”假数据“ 在Element UI表格部分中有比较详细的例子说明如何在页面中使用固定数据测试的例子 当el-table元素中注入data对象数组后,在el-table-column中用prop属性来对应对象中的键名即可填入数据,用labe 阅读全文
posted @ 2020-06-05 16:15 codesucks 阅读(506) 评论(0) 推荐(0)
摘要: aliyun备案相关 阅读全文
posted @ 2020-04-28 11:59 codesucks 阅读(169) 评论(0) 推荐(0)