摘要：
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另 阅读全文
posted @ 2022-03-29 17:56
潜水的章鱼
阅读(246)
评论(0)
推荐(0)
摘要：
最近遇见一个需要上传超大大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。 在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的 阅读全文
posted @ 2022-03-29 17:05
潜水的章鱼
阅读(332)
评论(0)
推荐(0)
摘要：
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在 阅读全文
posted @ 2022-03-29 16:53
潜水的章鱼
阅读(158)
评论(0)
推荐(0)
摘要：
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员 阅读全文
posted @ 2022-03-29 15:59
潜水的章鱼
阅读(323)
评论(0)
推荐(0)
摘要：
4GB以上超大文件上传和断点续传服务器的实现 随着视频网站和大数据应用的普及，特别是高清视频和4K视频应用的到来，超大文件上传已经成为了日常的基础应用需求。 但是在很多情况下，平台运营方并没有大文件上传和断点续传的开发经验，往往在网上找一些简单的PHP或者Java程序来实现基本的上传功能，然而在 阅读全文
posted @ 2022-03-29 15:02
潜水的章鱼
阅读(93)
评论(0)
推荐(0)
摘要：
一、概述 所谓断点续传，其实只是指下载，也就是要从文件已经下载的地方开始继续下载。在以前版本的HTTP协议是不支持断点的，HTTP/1.1开始就支持了。一般断点下载时才用到Range和Content-Range实体头。HTTP协议本身不支持断点上传，需要自己实现。 二、Range 用于请求头中， 阅读全文
posted @ 2022-03-29 14:00
潜水的章鱼
阅读(50)
评论(0)
推荐(0)
摘要：
一、 功能性需求与非功能性需求 要求操作便利，一次选择多个文件和文件夹进行上传； 支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹 阅读全文
posted @ 2022-03-29 11:58
潜水的章鱼
阅读(47)
评论(0)
推荐(0)
摘要：
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_na 阅读全文
posted @ 2022-03-29 11:14
潜水的章鱼
阅读(30)
评论(0)
推荐(0)
摘要：
需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。 第一步： 前端修改 由于项目使用的是BJUI前端框架，并没有使用框架本身的文件上传控件，而使用的基于jQuery的Uploadify 阅读全文
posted @ 2022-03-29 10:13
潜水的章鱼
阅读(129)
评论(0)
推荐(0)
浙公网安备 33010602011771号