工控环境下多线程的高并发处理(附源码)

一,简单问题复杂化:

        100公里/1小时的速度,在日常生活中是比较常见的速度,把它转换为其它单位:

        100公里/1小时 ≈ 28米/1秒

        100公里/1小时 ≈ 2800厘米/秒

        如果想要无人驾驶汽车达到厘米级的位移监测。探测器扫描路况时,每秒上传2800次数据给PC机。若一辆汽车有10个探测器,就意味着每秒的并发量为2.8W次/秒。

2.8W次/秒的并发量,在网站上肯定会采用分布式,缓存,读写分离,集群技术,关键还有这个数据的存储,到底用二维数据库,还是用NOSQL。这些问题是不是让你很头痛?

二,复杂问题简单化:

       1个监测器对应1个线程,10个监测器对应10个线程。假设10个线程同时往数据库里写数据,显然不是一个明智的做法。

       假设,开启一个Cache,10个线程同时往Cache里写数据。这儿要注意线程同步,内存溢出问题。

       另外开启一个监控Cache的线程,这个线程主要三件事,1,监测Cache的数据变化,2,过虑Cache的冗余数据,3,持久化Cache数据到存储介质。用个示意图表示一下:

      

三,万物归一

       百川归海,万物归一。看过我“100行代码实现了多线程,批量写入,文件分块的日志方法”这篇博客的园友。与我这个“C#版的无人驾驶汽车(附源码)”的 应用场景是不是十分相似?

       两图对比,是不是对象都相同:

        

       多个监测器上传数据     <-->      多个线程写日志

       Cache                      <-->      日志对列

       Cache监控线程          <-->      批量持久化日志线程

       数据库垂直水平分库     <-->      日志分块

四,实践总结理论:

       100行代码实现了多线程,批量写入,文件分块的日志方法

       C#版的无人驾驶汽车(附源码)

       两篇博客的核心都只有一个,“多线程巧妙转换为单线程”,只是应用的场景不同。

       一个应用于日志,一个应用于无人驾驶汽车。应用不同,本质相同,只要掌握了本质,万变不离其中。

       在和企业谈工资的时候,要工资低些,可以说我会写日志的方法。

       在和企业谈工资的时候,要工资高些,可以说做过C#版的无人驾驶汽车项目。

       想低就低,想高就高,万物变化,大地沉浮,随心所欲。

五,源码实现:

       其实这段源码,就是从上篇博客拷贝过来的,只是做了信号量的优化。方法名,类名一修改,可以应用到很多场景,万能的方法,万能的类。

    public class IOExtention
    {
        static ConcurrentQueue<Tuple<string, string>> logQueue = new ConcurrentQueue<Tuple<string, string>>();

        static Task writeTask = default(Task);

        static ManualResetEvent pause = new ManualResetEvent(false);

        //Mutex mmm = new Mutex();
        static IOExtention()
        {
            writeTask = new Task((object obj) =>
            {
                while (true)
                {
                    pause.WaitOne();
                    pause.Reset();
                    List<string[]> temp = new List<string[]>();
                    foreach (var logItem in logQueue)
                    {
                        string logPath = logItem.Item1;
                        string logMergeContent = String.Concat(logItem.Item2, Environment.NewLine, "-----------------------------------------------------------", Environment.NewLine);
                        string[] logArr = temp.FirstOrDefault(d => d[0].Equals(logPath));
                        if (logArr != null)
                        {
                            logArr[1] = string.Concat(logArr[1], logMergeContent);
                        }
                        else
                        {
                            logArr = new string[] { logPath, logMergeContent };
                            temp.Add(logArr);
                        }
                        Tuple<string, string> val = default(Tuple<string, string>);
                        logQueue.TryDequeue(out val);
                    }
                    foreach (string[] item in temp)
                    {
                        WriteText(item[0], item[1]);
                    }

                }
            }
            , null
            , TaskCreationOptions.LongRunning);
            writeTask.Start();
        }

        public static void WriteLog(String preFile, String infoData)
        {
            WriteLog(string.Empty, preFile, infoData);
        }


        public static void WriteLog(String customDirectory, String preFile, String infoData)
        {
            string logPath = GetLogPath(customDirectory, preFile);
            string logContent = String.Concat(DateTime.Now, " ", infoData);
            logQueue.Enqueue(new Tuple<string, string>(logPath, logContent));
            pause.Set();
        }

        private static string GetLogPath(String customDirectory, String preFile)
        {
            string newFilePath = string.Empty;
            String logDir = string.IsNullOrEmpty(customDirectory) ? Path.Combine(Environment.CurrentDirectory, "logs") : customDirectory;
            if (!Directory.Exists(logDir))
            {
                Directory.CreateDirectory(logDir);
            }
            string extension = ".log";
            string fileNameNotExt = String.Concat(preFile, DateTime.Now.ToString("yyyyMMdd"));
            String fileName = String.Concat(fileNameNotExt, extension);
            string fileNamePattern = string.Concat(fileNameNotExt, "(*)", extension);
            List<string> filePaths = Directory.GetFiles(logDir, fileNamePattern, SearchOption.TopDirectoryOnly).ToList();

            if (filePaths.Count > 0)
            {
                int fileMaxLen = filePaths.Max(d => d.Length);
                string lastFilePath = filePaths.Where(d => d.Length == fileMaxLen).OrderByDescending(d => d).FirstOrDefault();
                if (new FileInfo(lastFilePath).Length > 1 * 1024 * 1024 * 1024)
                {
                    string no = new Regex(@"(?is)(?<=\()(.*)(?=\))").Match(Path.GetFileName(lastFilePath)).Value;
                    int tempno = 0;
                    bool parse = int.TryParse(no, out tempno);
                    string formatno = String.Format("({0})", parse ? (tempno + 1) : tempno);
                    string newFileName = String.Concat(fileNameNotExt, formatno, extension);
                    newFilePath = Path.Combine(logDir, newFileName);
                }
                else
                {
                    newFilePath = lastFilePath;
                }
            }
            else
            {
                string newFileName = String.Concat(fileNameNotExt, String.Format("({0})", 0), extension);
                newFilePath = Path.Combine(logDir, newFileName);
            }
            return newFilePath;
        }

        private static void WriteText(string logPath, string logContent)
        {
            try
            {
                if (!File.Exists(logPath))
                {
                    File.CreateText(logPath).Close();
                }
                StreamWriter sw = File.AppendText(logPath);
                sw.Write(logContent);
                sw.Close();
            }
            catch (Exception ex)
            {

            }
            finally
            {

            }
        }
    }

 

       应用案例:刷单软件阿里云客户端

 

posted @ 2016-11-25 08:03 Sam Xiao 阅读(...) 评论(...) 编辑 收藏