松鼠的博客

导航

2020年6月10日 #

SpringBoot实现浏览器端大文件分块上传

摘要: 1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种 阅读全文

posted @ 2020-06-10 18:10 Xproer-松鼠 阅读(368) 评论(0) 推荐(0)

SpringMVC实现浏览器端大文件分块上传

摘要: 前言:因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传,而自己对java文件上传这一块未接触过,且对 Http 协议较模糊,故这次采用渐进的方式来学习文件上传的原理与实践。该博客重在实践。 一. Http协议原理简介 HTTP是一个属于应用层的面向对象的协议,由于其简捷、 阅读全文

posted @ 2020-06-10 17:00 Xproer-松鼠 阅读(336) 评论(0) 推荐(0)

jsp实现浏览器端大文件分块上传

摘要: java两台服务器之间,大文件上传(续传),采用了Socket通信机制以及JavaIO流两个技术点,具体思路如下: 实现思路: 1、服:利用ServerSocket搭建服务器,开启相应端口,进行长连接操作 2、服:使用ServerSocket.accept()方法进行阻塞,接收客户端请求 3、服:每 阅读全文

posted @ 2020-06-10 15:53 Xproer-松鼠 阅读(112) 评论(0) 推荐(0)

Java实现浏览器端大文件分块上传

摘要: 需求: 支持大文件批量上传(20G)和下载,同时需要保证上传期间用户电脑不出现卡死等体验; 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传,文件夹中的文件数量达到1万个以上,且包含层级结构。 支持PC端全平台操作系统,Windows,Linux,Mac 支持文件和文件夹的批量下 阅读全文

posted @ 2020-06-10 15:14 Xproer-松鼠 阅读(519) 评论(0) 推荐(0)

Nginx实现浏览器端大文件分片上传

摘要: 需求: 项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在20G内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以20G来进行限制。 PC端全平台支持,要求支持Windows,Mac,Linux 支持所有浏览器。 支持文件批量上传 支持文件夹上传,且要求在服务端保留层级结 阅读全文

posted @ 2020-06-10 13:39 Xproer-松鼠 阅读(740) 评论(0) 推荐(0)

vue实现浏览器端大文件分片上传

摘要: 文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_name 阅读全文

posted @ 2020-06-10 11:52 Xproer-松鼠 阅读(743) 评论(0) 推荐(0)

http实现浏览器端大文件分片上传

摘要: 需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制。 第一步: 前端修改 由于项目使用的是BJUI前端框架,并没有使用框架本身的文件上传控件,而使用的基于jQuery的Uploadify文件 阅读全文

posted @ 2020-06-10 11:15 Xproer-松鼠 阅读(981) 评论(0) 推荐(0)