文章分类 -  分布式 / 分布式云存储平台

cegh&&OSS
摘要：相关部署：https://blog.csdn.net/m0_58833554/article/details/134604853 使用golang实现cegh上传 data, _ := ioutil.ReadAll(newFile) cephPath := "/ceph/" + fileMeta.F 阅读全文
posted @ 2024-09-09 09:19 daligh 阅读(85) 评论(0) 推荐(0)
异步文件转移
摘要：一、同步文件上传架构 同步上传是一种传统的文件传输方式。在该模式下，整个上传流程是线性、连续的，客户端发送请求后，必须等待整个文件传输过程完成，才会收到最终的确认响应。这种上传架构的优点是操作简单，流程透明，上传结果可以即时反馈给用户。我们通过以下流程图来理解同步上传： 客户端首先将文件发送至上传服 阅读全文
posted @ 2024-09-09 09:18 daligh 阅读(111) 评论(0) 推荐(0)
文件分块
摘要：在这个架构图中，Redis 被用于存储文件的元信息，其使用原因和优势如下： 1. 高效的缓存机制： Redis 是一个内存数据库，拥有极快的读写速度。在文件上传过程中，尤其是当文件分块上传时，频繁的读写文件元信息（例如，文件的 Hash 值、上传进度、文件分块信息等）可能会拖慢系统性能。将这些元信息 阅读全文
posted @ 2024-09-07 22:36 daligh 阅读(116) 评论(0) 推荐(0)
用户注册登录与鉴权
摘要：本文主要介绍账号系统的相关功能 1.用户注册登录 2.session鉴权 3.用户数据隔离 用户表： -- 创建用户表 CREATE TABLE `tbl_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_name` varchar(64) NO 阅读全文
posted @ 2024-09-07 20:17 daligh 阅读(148) 评论(0) 推荐(0)
数据操作
摘要：主要用于保存文件元信息的保存 这里主要是在技术选型上的考虑 SQL数据库与非SQL数据库的区别与选择 在现代应用开发中，选择合适的数据库管理系统至关重要。无论是传统的关系型数据库（SQL）还是新兴的非关系型数据库（NoSQL），它们各自都拥有独特的优势，适用于不同的应用场景。本文将介绍SQL数据库与 阅读全文
posted @ 2024-09-07 19:18 daligh 阅读(42) 评论(0) 推荐(0)
简单文件上传
摘要：接口列表： （为了节省代码量只写出关键的函数实现） 实现上传接口： 从请求中提取文件。 创建一个新的 FileMeta 对象来存储文件信息,如文件名、上传时间和服务器上的存储位置。 在服务器上创建一个新文件来存储上传的内容。 将上传文件的内容复制到新创建的文件中。 计算文件的唯一标识符(SHA1 哈 阅读全文
posted @ 2024-09-06 19:21 daligh 阅读(33) 评论(0) 推荐(0)
选择最佳文件传输分块大小：理论与实践
摘要：引言 在设计文件传输系统时，选择合适的分块大小对于确保高效的数据传输至关重要。我尽量影响分块大小的因素，并通过一个具体的测试案例来分析最佳分块大小的选择。此外，我参考了FTP协议如何处理文件传输，并讨论其优点。 1. 影响分块大小的因素 在选择分块大小时，需要考虑以下几个关键因素： 网络带宽：了解网 阅读全文
posted @ 2024-08-16 10:13 daligh 阅读(292) 评论(0) 推荐(0)