十分钟学会微调大语言模型
完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。 ...
实战指南：使用 xUnit 和 ASP.NET Core 进行集成测试【完整教程】
引言 集成测试可在包含应用支持基础结构（如数据库、文件系统和网络）的级别上确保应用组件功能正常。 ASP.NET Core 通过将单元测试框架与测试 Web 主机和内存中测试服务器结合使用来支持集成测试。 简介 集成测试与单元测试相比，能够在更广泛的级别上评估应用的组件，确认多个组件一起工作以生成预 ...
使用JSZip实现在浏览器中操作文件与文件夹
1. 引言 浏览器中如何创建文件夹、写入文件呢？ 答曰：可以借助JSZip这个库来实现在浏览器内存中创建文件与文件夹，最后只需下载这个.zip文件，就是最终得结果 类似的使用场景如下： 在线下载很多图片，希望这些图片能分类保存到各个文件夹并最终下载成一个zip文件 在线下载很多文档，希望这些文档能分 ...
在RockyLinux 9.3环境中采用RPM模式部署Oracle 19C
Oracle 19C最新版提供了适配RHEL9的RPM包，简化了安装步骤，方便初学者部署练习环境或者仅仅功能验证需求的场景，本文是收集网路资料然后验证，整理后的笔记，供大家参考 ...
手动给docusaurus添加一个搜索
新版博客用docusaurus重构已经有些日子了，根据docusaurus的文档上也申请了Algolia,想一劳永逸的解决博客的搜索问题。但是流水有意，落花无情。 algolia总是不给我回复，我只能对着algolia的申请页面仰天长叹。 正常情况的申请 按照docusaurus官方文档上说的，当我 ...
如何实现数据库数据到Abp vnext实体对象的同步？以及代码生成工具
在采用了EF Core的Code First方式下，如果你在数据库中直接添加了新表或存储过程，你需要在项目代码中手动反向工程这些数据库的更改，以保持Code First的代码与数据库同步。这种情况可以通过如下两个步骤来实现： 从现有数据库创建模型： 使用Entity Framework Core的S ...
Causal Inference理论学习篇-Tree Based-Causal Forest
广义随机森林 了解causal forest之前，需要先了解其forest实现的载体：GENERALIZED RANDOM FORESTS[6]（GRF) 其是随机森林的一种推广， 经典的随机森林只能去估计label Y，不能用于估计复杂的目标，比如causal effect，Causal Tree ...
两种解法搞定Swap Nodes in Pairs算法题
最近还是很喜欢用golang来刷算法题，更接近通用算法，也没有像动态脚本语言那些语法糖，真正靠实力去解决问题。 下面这道题很有趣，也是一道链表题目，具体如下： 24. Swap Nodes in Pairs Solved Medium Topics Companies Given a linked ...
Kafka 线上性能调优
Kafka 线上性能调优是一项综合工程，不仅仅是 Kafka 本身，还应该从硬件（存储、网络、CPU）以及操作系统方面来整体考量，首先我们要有一套生产部署方案，基于这套方案再进行调优，这样就有了可靠的底层保证，才能保证 Kafka 集群整体的稳定性。 1. 线上部署方案 1.1 操作系统 我们知道 ...
deepspeed 训练多机多卡报错 ncclSystemError Last error
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed ...
【高级RAG技巧】在大模型知识库问答中增强文档分割与表格提取
前言 文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒度的获取 ...
RC4Drop加密技术：原理、实践与安全性探究
title: RC4Drop加密技术：原理、实践与安全性探究 date: 2024/4/18 20:47:30 updated: 2024/4/18 20:47:30 tags: - RC4算法 - 流加密 - 安全性 - RC4Drop技术 - 密钥流 - 加密解密 - 网络通信 第一章：介绍 1 ...
JDBC数据库汇总Attack研究
前言 针对除Mysql的其它数据库的jdbc attack分析 H2 RCE 介绍 H2 是一个用 Java 开发的嵌入式数据库，它本身只是一个类库，即只有一个 jar 文件，可以直接嵌入到应用项目中。H2 主要有如下三个用途： 第一个用途，也是最常使用的用途就在于可以同应用程序打包在一起发布，这样 ...
鸿蒙HarmonyOS实战-ArkUI组件（Canvas）
一、Canvas Canvas组件是一种图形渲染组件，它提供了一个画布（canvas），开发者可以在上面绘制各种图形、文本等。Canvas组件通常用于创建游戏、数据可视化等需要动态绘制图形的应用程序。 Canvas组件提供了多个API，开发者可以使用这些API进行绘制操作。常用的API包括绘制矩 ...
Trino418版本动态加载catalog不需要重启集群修改思路及实现2
原来没事的时候改了一个这样的功能，当时也没有仔细研究，后来也没继续弄。详细可以参考 https://www.cnblogs.com/liuzx8888/p/17635913.html 当时有2个问题：新增数据源需要每一个节点都去调取API注册跟数据源注册过了删除Catalog后再新增一模一样的就会提 ...
简述Linux磁盘IO
1、什么是磁盘 在讲解磁盘IO前，先简单说下什么是磁盘。磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和固态磁盘。 1.1 机械磁盘 第一类，机械磁盘，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。机械磁盘主要由盘片和读写磁头组成，数据就存 ...
《优化接口设计的思路》系列：第十篇—网站的静态资源怎么获取？
一、前言 大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 作为一名从业已达六年的老码农，我的工作主要是开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统， ...
Web Audio API 第5章 音频的分析与可视化
到目前为止，我们仅讨论了音频的合成与处理，但这仅是 Web Audio API 提供的一半功能。另一半功能则是音频的分析，它播放起来应该是什么样子的。它最典型的例子就是音频可视化，但其实有更多的其它应用场景，包括声调检测，节减检测，语音识别等，这些已大大超出本书范围。 对于游戏或交互式应用开发者来说 ...
特征融合与特征交互的区别
特征融合与特征交互的区别 目录特征融合与特征交互的区别前言三者关系三者定义特性融合(Feature Fusion):特征拼接(Feature Concatenation):特征交互(Feature Interaction):特征融合和特征交互关键的不同点数据处理目的应用简单总结 前言 遥感系列第14 ...
Vue 3 进阶用法：异步组件
一、代码分割 一个大型前端应用，如果所有代码都放在单一文件，体积会特别大，下载时间长，白屏时间久，用户体验差。 代码分割是一种有效的优化方式。提前把代码切分为多个小块，只下载当前必需的部分，用到哪块下载哪块。就像吃自助餐一样，吃多少拿多少。 早期的代码分割一般通过 webpack 实现。随着 ES6 ...
