一个简单的文件服务器实现方案

引子

最近公司的系统约来越多，基本上每个系统都需要用到“资源”，以前只是简单的把“资源”放到Web服务器中，但是这样的话有一个头痛的问题----如何去管理“资源”？

想法

现在不是很流行API嘛，大家好像都在整什么面向服务、面向资源、RESTful什么的，据说在与复杂性的斗争中，人们讨论表象化状态转移(REST)已成为了一种时尚！我对这些概念也就是知道个大概，但是也不能解释的很清楚，但是用意和优点还是很明确的！说白了就是各式各样的“API”，可能我的理解有偏差，还望大家海涵，哈哈！

HTTP中有几个常见谓词，分别是GET/POST/PUT/DELETE，这也正是对应了我们经常说到的CRUD，含义就是对一个资源的增删改查！

那咱能不能来一个文件API呢？实现对一个一个文件的CRUD？

说时迟，那时快

既然有了想法，咱就得开始干了！那么接下来的问题又来了，怎么干？

文件的增删改查很简单，基本功呗！

数据格式？字节数组吧，不用转来转去，

数据传输呢？就跟一般的API一样走HTTP协议，HTTP请求报文中分为两个部分：请求头和请求体，既然这样，正好符合我们的需求，请求体承载文件流的字节数组，请求头中附加一些额外的信息！

说到这，基本上大概的“形状”就有了！那咱就开始干！！！

添加一个Web应用程序作为服务端，WebForms或者Mvc的都可以。我这里演示的是Mvc的！

不废话，先上代码（只有上传操作），待会大概解释一下。

// ***********************************************************************
// Project            : Beimu.Bfs
// Assembly         : Beimu.Bfs.Web
// Author           : iceStone
// Created          : 2014年01月03日 10:23
//
// Last Modified By : iceStone
// Last Modified On : 2014年01月03日 10:23
// ***********************************************************************
// <copyright file="DefaultController.cs" company="Wedn.Net">
//     Copyright (c) Wedn.Net. All rights reserved.
// </copyright>
// <summary></summary>
// ***********************************************************************
using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Security.Cryptography;
using System.Web;
using System.Web.Mvc;
using Beimu.Bfs.Web.Utilities;

namespace Beimu.Bfs.Web.Controllers
{
    /// <summary>
    /// 默认控制器.
    /// </summary>
    /// <remarks>
    ///  2014年01月03日 10:23 Created By iceStone
    /// </remarks>
    public class DefaultController : Controller
    {
        /// <summary>
        /// 身份验证
        /// </summary>
        /// <param name="filterContext"></param>
        protected override void OnActionExecuting(ActionExecutingContext filterContext)
        {
            var uid = Request.Headers["bfs-uid"];// Request["uid"];
            var pwd = Request.Headers["bfs-pwd"];//Request["pwd"];
            if (!(string.IsNullOrEmpty(uid) || string.IsNullOrEmpty(pwd)))
            {
                var user = new Users();
                if (!user.Exist(uid) || user[uid] != pwd)
                {
                    filterContext.Result = Json(new { Status = 400, Message = "用户名或密码不正确" });
                    return;
                }
            }
            base.OnActionExecuting(filterContext);
        }

        /// <summary>
        /// 上传操作.
        /// </summary>
        /// <remarks>
        ///  2014年01月03日 10:23 Created By iceStone
        /// </remarks>
        /// <returns>ActionResult.</returns>
        public ActionResult Upload()
        {
            #region 批量
            //var files = Request.Files;
            //if (files == null || files.Count == 0) return Json(new { Status = 101, Message = "" });
            //var dict = new Dictionary<int, string>();
            //int index = -1;
            //foreach (HttpPostedFile file in files)
            //{
            //    index++;
            //    if (file == null || file.ContentLength == 0) continue;
            //    var ext = Path.GetExtension(file.FileName);
            //    if (!Config.UploadAllowType.Contains(ext)) continue;
            //    if (file.ContentLength >= (Config.UploadMaxSize * 1024 * 1024)) continue;

            //    string root = AppDomain.CurrentDomain.BaseDirectory;
            //    string path = string.Format("{0}/{1}/{2}/{3}", Config.UploadRoot, dir, DateTime.Now.ToString("yyyy"), DateTime.Now.ToString("MM"));
            //    string filename = GetStreamMd5(file.InputStream) + ext;//Path.GetFileName(file.FileName);
            //    file.SaveAs(Path.Combine(root, path, filename));

            //    dict.Add(index, Config.SiteUrl + path + filename);
            //}
            //return Json(dict); 
            #endregion

            string ext = Request.Headers.AllKeys.Contains("bfs-ext") ? Request.Headers["bfs-ext"] : ".jpg";
            var dir = Request.Headers.AllKeys.Contains("bfs-dir") ? Request.Headers["bfs-dir"] : Request.Headers["bfs-uid"];
            //dir = string.IsNullOrEmpty(dir) ? "common" : dir;

            using (var stream = Request.InputStream)
            {
                //var files = Request.Files;
                if (stream.Length == 0) return SetHeaders(104, "上传文件为空");

                if (stream.Length >= (Config.UploadMaxSize * 1024 * 1024)) return SetHeaders(101, "上传文件过大");

                //string root = AppDomain.CurrentDomain.BaseDirectory;
                string path = string.Format("/{0}/{1}/{2}/{3}/", Config.UploadRoot, dir, DateTime.Now.ToString("yyyy"), DateTime.Now.ToString("MM"));
                string filename = GetStreamMd5(stream) + ext;//Path.GetFileName(file.FileName);
                string fullPath = Server.MapPath(path);
                if (!Directory.Exists(fullPath))
                    Directory.CreateDirectory(fullPath);
                //var buffer = new byte[stream.Length];
                //stream.Read(buffer, 0, buffer.Length);  //将流的内容读到缓冲区
                //using (var fs = new FileStream(fullPath + filename, FileMode.CreateNew, FileAccess.Write))
                //{
                //    fs.Write(buffer, 0, buffer.Length);
                //    fs.Flush();
                //    //fs.Close();
                //} 
                //using (var reader=new StreamReader(stream))
                //{
                //    using (var writer = new StreamWriter(fullPath + filename, false))
                //    {
                //        writer.Write(reader.ReadToEnd());
                //        writer.Flush();
                //    }
                //}
                using (var fs = new FileStream(fullPath + filename, FileMode.Create))
                {
                    byte[] bytes = new byte[stream.Length];
                    int numBytesRead = 0;
                    int numBytesToRead = (int)stream.Length;
                    stream.Position = 0;
                    while (numBytesToRead > 0)
                    {
                        int n = stream.Read(bytes, numBytesRead, Math.Min(numBytesToRead, int.MaxValue));
                        if (n <= 0)
                            break;
                        fs.Write(bytes, numBytesRead, n);
                        numBytesRead += n;
                        numBytesToRead -= n;
                    }
                    fs.Close();
                }
                return SetHeaders(100, Config.SiteUrl + path + filename);
            }

            //if (file == null || file.ContentLength == 0) return SetHeaders(103, "上传文件为空");

            //var ext = Path.GetExtension(file.FileName);
            //if (!Config.UploadAllowType.Contains(ext)) return SetHeaders(102, "上传非法文件");
            //if (file.ContentLength >= (Config.UploadMaxSize * 1024 * 1024)) return SetHeaders(101, "上传文件过大");

            //string root = AppDomain.CurrentDomain.BaseDirectory;
            //string path = string.Format("{0}/{1}/{2}/{3}", Config.UploadRoot, dir, DateTime.Now.ToString("yyyy"), DateTime.Now.ToString("MM"));
            //string filename = GetStreamMd5(file.InputStream) + ext;//Path.GetFileName(file.FileName);
            //string fullPath = Path.Combine(root, path);
            //if (!Directory.Exists(fullPath))
            //    Directory.CreateDirectory(fullPath);
            //file.SaveAs(Path.Combine(root, path, filename));
            //return SetHeaders(100, Config.SiteUrl + path + filename);
        }

        [NonAction]
        public ContentResult SetHeaders(int status, string resault)
        {
            Response.Headers.Add("bfs-status", status.ToString());
            Response.Headers.Add("bfs-result", resault);
            return Content(string.Empty);
        }

        /// <summary>
        /// 获取文件的MD5值
        /// </summary>
        /// <remarks>
        ///  2013年11月28日 19:24 Created By 汪磊
        /// </remarks>
        /// <param name="stream">文件流</param>
        /// <returns>该文件的MD5值</returns>
        [NonAction]
        public String GetStreamMd5(Stream stream)
        {
            var oMd5Hasher = new MD5CryptoServiceProvider();
            byte[] arrbytHashValue = oMd5Hasher.ComputeHash(stream);
            //由以连字符分隔的十六进制对构成的String，其中每一对表示value 中对应的元素；例如“F-2C-4A”
            string strHashData = BitConverter.ToString(arrbytHashValue);
            //替换-
            strHashData = strHashData.Replace("-", "");
            string strResult = strHashData;
            return strResult;
        }

    }
}

看完代码的同学估计已经发现，其实实现的过程也有不顺利，其实刚开始就是没有想好数据放在请求报文的什么位置，最初尝试了附件的形式，的确可以实现，但是出于某种原因（下面会说到）还是折腾成现在的样子了！

大概理一下流程：

首先一个请求过来，校验请求头中身份信息是否存在并且合法，很简单！我就是读了配置文件中定义的用户列表。可以做扩展；
获取文件类型（请求头中的信息）和文件存放的目录（如果不存在目录参数，默认以当前请求的用户名作为基本目录）；
判断请求体中有没有内容，没有内容返回错误码和错误消息；
判断上传文件格式是否为允许格式（有个问题“客户端欺骗服务端”，因为文件格式是客户端在请求头中注明的，但是回头想想好像没什么大问题，如果客户端伪装拓展名,最终按照他伪装的拓展名保存，当然这里大家可以办法提出更好更安全的想法），不允许返回错误码和错误消息；
判断文件大小是否允许，不允许返回错误码和错误消息；
获取文件流的MD5值作为文件名（防止重复资源占用空间，网盘就是这么干的，所以说所谓的多少T，所谓的秒传，都是扯淡），
最后以/{指定目录}/{年份}/{月份}/{文件名}{拓展名}保存到服务器！（如果有需要做成集群的话，那就需要我们再做一些拓展了，以后可以详细介绍，实际上就是弄个数据库弄个表保存一下每个服务器的资源情况，以及资源的保存位置）
最后返回给客户端文件的地址

这样我们最简单的文件API就完成了，当然了它是很简陋的，但是我更在乎的是思想上的问题，方向对不对！其实咱们做这一行最关键的就是这么点事，技术好不好都是时间的事！

好像还少点啥

怎么觉着好像还是少点东西呢？

一般的API还有什么东西？-------客户端呐！总不能让使用者自己做吧，那样的结果只会有各种各样的情况产生。

那再来个客户端呗！

好的！

还是上代码吧？

using System;
using System.Configuration;
using System.IO;
using System.Net;

namespace Beimu.Bfs.Lib
{
    public class BfsUploader
    {
        public readonly string ApiDomain = ConfigurationManager.AppSettings["bfs_server"];
        public string Directory { get; set; }
        public string UserId { get; set; }
        public string Password { get; set; }

        /// <summary>
        /// 构造函数
        /// </summary>
        /// <param name="uid">用户名</param>
        /// <param name="pwd">密码</param>
        /// <param name="dir">操作目录</param>
        public BfsUploader(string uid, string pwd, string dir = "common")
        {
            Directory = dir;
            UserId = uid;
            Password = pwd;
        }

        /// <summary>
        /// 写文件
        /// </summary>
        /// <param name="filePath">文件路径</param>
        /// <param name="result">结果</param>
        /// <returns>是否成功</returns>
        public bool WriteFile(string filePath, out string result)
        {
            var ext = Path.GetExtension(filePath);
            using (var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
            {
                using (var reader = new BinaryReader(fs))
                {
                    byte[] postData = reader.ReadBytes((int)fs.Length);
                    return Post("upload", ext, postData, out result);
                }
            }
        }
        /// <summary>
        /// 写文件
        /// </summary>
        /// <param name="ext">拓展名</param>
        /// <param name="postData">请求体</param>
        /// <param name="result">结果</param>
        /// <returns>是否成功</returns>
        public bool WriteFile(string ext, byte[] postData, out string result)
        {
            return Post("upload",ext, postData, out result);
        }

        /// <summary>
        /// 发送请求
        /// </summary>
        /// <param name="url">请求地址</param>
        /// <param name="ext">拓展名</param>
        /// <param name="postData">请求体</param>
        /// <param name="result">结果</param>
        /// <returns>是否成功</returns>
        private bool Post(string url, string ext, byte[] postData, out string result)
        {
            var request = (HttpWebRequest)WebRequest.Create(ApiDomain + url);

            request.Method = "POST";
            request.Headers.Add("bfs-uid", UserId);
            request.Headers.Add("bfs-pwd", Password);
            request.Headers.Add("bfs-dir", Directory);
            request.Headers.Add("bfs-ext", ext);


            if (postData != null)
            {
                request.ContentLength = postData.Length;
                request.KeepAlive = true;

                Stream dataStream = request.GetRequestStream();
                dataStream.Write(postData, 0, postData.Length);
                dataStream.Close();
            }
            try
            {
                var response = (HttpWebResponse)request.GetResponse();
                var status = response.Headers["bfs-status"];
                result = response.Headers["bfs-result"];
                return response.StatusCode == HttpStatusCode.OK && status == "100";
            }
            catch (Exception e)
            {
                throw e;
            }
            //string boundary = "---------------------------" + DateTime.Now.Ticks.ToString("x");
            //byte[] boundarybytes = Encoding.UTF8.GetBytes("\r\n--" + boundary + "\r\n");
            //byte[] endbytes = Encoding.UTF8.GetBytes("\r\n--" + boundary + "--\r\n");

            ////1.HttpWebRequest
            //HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
            //request.ContentType = "multipart/form-data; boundary=" + boundary;
            //request.Method = "POST";
            //request.KeepAlive = true;
            //request.Credentials = CredentialCache.DefaultCredentials;

            //using (Stream stream = request.GetRequestStream())
            //{
            //    //1.1 key/value
            //    string formdataTemplate = "Content-Disposition: form-data; name=\"{0}\"\r\n\r\n{1}";
            //    if (data != null)
            //    {
            //        foreach (string key in data.Keys)
            //        {
            //            stream.Write(boundarybytes, 0, boundarybytes.Length);
            //            string formitem = string.Format(formdataTemplate, key, data[key]);
            //            byte[] formitembytes = encoding.GetBytes(formitem);
            //            stream.Write(formitembytes, 0, formitembytes.Length);
            //        }
            //    }

            //    //1.2 file
            //    string headerTemplate = "Content-Disposition: form-data; name=\"{0}\"; filename=\"{1}\"\r\nContent-Type: application/octet-stream\r\n\r\n";
            //    byte[] buffer = new byte[4096];
            //    int bytesRead = 0;
            //    for (int i = 0; i < files.Length; i++)
            //    {
            //        stream.Write(boundarybytes, 0, boundarybytes.Length);
            //        string header = string.Format(headerTemplate, "file" + i, Path.GetFileName(files[i]));
            //        byte[] headerbytes = encoding.GetBytes(header);
            //        stream.Write(headerbytes, 0, headerbytes.Length);
            //        using (FileStream fileStream = new FileStream(files[i], FileMode.Open, FileAccess.Read))
            //        {
            //            while ((bytesRead = fileStream.Read(buffer, 0, buffer.Length)) != 0)
            //            {
            //                stream.Write(buffer, 0, bytesRead);
            //            }
            //        }
            //    }

            //    //1.3 form end
            //    stream.Write(endbytes, 0, endbytes.Length);
            //}
            ////2.WebResponse
            //HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            //using (StreamReader stream = new StreamReader(response.GetResponseStream()))
            //{
            //    return stream.ReadToEnd();
            //}
        }
    }
}

代码实现也很简单，就是封装请求操作罢了！

没什么逻辑，今天就不分析了！

The End~

其实用单独的文件服务器的好处有很多；

其中比较关键的两点：

第一、促使浏览器并行下载多个请求、提高加载速度。

对于浏览器而言，同时对同域名下的请求是有限的，IE应该是五个左右，具体可以监控请求查看，而单独部署静态资源文件可以解决一点问题；

第二、cookie-free，暨避免不必要的请求头。

稍微说一点：浏览器请求服务器的时候会带着该域名下的Cookie等请求头的信息，而这些信息对于资源文件似乎是没有任何意义的，只是增加负担。

顺便提醒一下，外部链接也不要太多，会适得其反！对SEO有影响。据权威（YAHOO）研究表明，应该是5个左右！

posted @ 2014-01-06 19:00 汪磊阅读(8234) 评论(7) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

汪磊的个人博客

一个专注前端开发程序设计的个人IT博客 - 毫无商业价值 - MAKE IT BETTER!

一个简单的文件服务器实现方案

引子

想法

说时迟，那时快

好像还少点啥

The End~

公告

汪磊的个人博客

一个专注前端开发 程序设计的个人IT博客 - 毫无商业价值 - MAKE IT BETTER!

一个简单的文件服务器实现方案

引子

想法

说时迟，那时快

好像还少点啥

The End~

公告

一个专注前端开发程序设计的个人IT博客 - 毫无商业价值 - MAKE IT BETTER!