上传——断点续传之实践篇

单线程普通上传

1、用流打开文件

 var item = new FileInfo(filePath);
 FileStream stream = item.OpenRead();

 

2、读取到字节

var fs=stream;

var transeBytesSize = fs.Length;

var data = new byte[(int)transeBytesSize];

BinaryReader bReader = new BinaryReader(fs);

bReader.Read(data, 0, (int)transeBytesSize);

 

3、调用服务端上传接口

var uploadResult = await WebApi.UploadByTrunk(doc, data, md5, fileLength, transeBytesSize, chunkSize);

此方法是一个异步的上传方法,后面会多次用到,接口参数说明:

doc:文件相关的信息

data:传输的字节

md5:文件的md5

fileLength:文件大小

transeBytesSize:当前要传输的字节大小

chunkSize:分片大小

单线程断点续传

1、获取上次传输的断点位置,通过服务端接口获取

 var startResult = await WebApi.GetLastUploadSize(doc.Id, fileLength, fileId);

 var startPoint = startResult.Results;

 

接口参数说明:

doc.Id 文档Id

fileLength:文件长度

fileId:文件Id,guid类型

 

2、定位流的当前位置

定位流的目的是跳过已经已经上传的字节,startPoint就是断点所在,所以跳过startPoint个字节,再上传。

if (startPoint >= 0 && startPoint <= fileLength - 1)
{
   fs.Seek(startPoint, SeekOrigin.Current);
}

 

3、分片传输

   int i = 0;

   var totalChunks = leftChunkSize % chunkSize == 0 ? leftChunkSize / chunkSize : leftChunkSize / chunkSize + 1;

   for (; startPoint <= fileLength - 1; startPoint += transeBytesSize)
   {
     var leftChunkSize = fileLength - startPoint;
     var transeBytesSize = leftChunkSize > chunkSize ? chunkSize : leftChunkSize;

     var data = new byte[(int)transeBytesSize];
     bReader.Read(data, 0, (int)transeBytesSize);
     i++;
     var uploadResult = await WebApi.UploadByTrunk(doc, data, md5, fileLength, transeBytesSize, chunkSize, mulThreadEnable, totalChunks, i);                    
   }

 

上传接口参数补充,参考普通上传中的接口:

mulThreadEnable:是否启用多线程

totalChunks:总分片数

i:当前分片序号,表示第几个分片,传输当前片序号的目的,在于让服务器知道上传是否结束。服务器知道后,可以按顺序合并分片文件。

     

多线程断点续传   

1、获取上次传输的分片数,通过服务端接口获取

 var lastChunks = await WebApi.GetLastChunks(doc.Id, fileId, chunkSize);

 if (lastChunks != null)
 {
     hasChunks = lastChunks.Results;
 }

 

2、准备好分片数据

 List<Task<WebApiResponse>> tasks = new List<Task<WebApiResponse>>();

 int i = 0;

 Dictionary<int, byte[]> datas = new Dictionary<int, byte[]>();
 Dictionary<int, long> transeBytesSizeDic = new Dictionary<int, long>();


 for (; startPoint <= fileLength - 1; startPoint += transeBytesSize)
 {
   i++;

   leftChunkSize = fileLength - startPoint;

   transeBytesSize = leftChunkSize > chunkSize ? chunkSize : leftChunkSize;

   var data = new byte[(int)transeBytesSize];

   bReader.Read(data, 0, (int)transeBytesSize);

   if (hasChunks != null && hasChunks.Count > 0 && hasChunks.Contains(i)) continue;

   datas.Add(i, data);

   transeBytesSizeDic.Add(i, transeBytesSize);

 }   

 

3、上传分片数据

 for (int j = 1; j <= totalChunks; j++)
 {
    int k = j;
    if (!datas.ContainsKey(k)) continue;   //跳过已经上传的分片
    var task = WebApi.UploadByTrunk(doc, datas[k], md5, fileLength, transeBytesSizeDic[k], chunkSize, mulThreadEnable, datas.Count, k);
    tasks.Add(task);
  }      

 

4、等待任务完成后,发送结束标识

Task.WaitAll(tasks.ToArray());     

 foreach (var item in tasks)
 {

    var allResult = item.Result;

    //处理上传后的结果,如判断成功与否等                                                        

    //此处为实际的业务逻辑                  

  }

  var sendResult = await WebApi.SendFinish(doc, md5, totalChunks, fileLength, chunkSize); 

 

接口参数说明:

doc:文件相关的信息

md5:文件的md5

fileLength:文件大小

totalChunks:总分片大小

chunkSize:分片大小

说明:可以看到,此方法与上传方法比,少了很多参数。因为它只是通知服务器已经结束,不携带文件数据。

由于多线程,最后一个分片,不一定最后传完,所以服务器无法判断上传是否结束。针对这个问题的解决方案,客户端多调用一个接口,通知服务器,我传输完毕,你可以合并分片文件。

以上是我的断点续传的实践,项目已经结束,所以做个总结,供大家参考。    

posted @ 2021-06-17 15:13  micDavid  阅读(521)  评论(0编辑  收藏  举报