"C#"：MySql批量数量导入

　　现在对数据库（以MySql为例）的操作大多会封装成一个类，如下例所示：

namespace TESTDATABASE
{   
    public enum DBStatusCode { ALL_OK, MySqlExcuteErr }
    public class TestDB
    {
        private string hostIp;
        private string dbName;
        private string dbUser;
        private string dbPasswd;
        private MySqlConnection dbConn;

        public TestDB() 
        {
            this.initConn();
        }
        ~TestDB()
        {
            dbConn.Dispose();
        }
        void initConn()
        {
            dbName = "testDB";
            hostIp = "127.0.0.1";
            dbUser = "root";
            dbPasswd = "root";
            string connString;    // Connection string。数据库连接字符串大全：http://www.connectionstrings.com/
            connString = "SERVER=" + hostIp + ";" + "DATABASE=" +
            dbName + ";" + "UID=" + dbUser + ";" + "PASSWORD=" + dbPasswd + ";";
            dbConn = new MySqlConnection(connString);
        }
        // Open connection
        public void openConn()
        {
            if (dbConn.State == ConnectionState.Closed)
                dbConn.Open();
        }
        // Close connection
        public void closeConn()
        {
            if (dbConn.State == ConnectionState.Open)
                dbConn.Dispose();
        }
        // Insert
        public DBStatusCode insertTest(ItermList itemList)
        {
            DBStatusCode flag = DBStatusCode.ALL_OK;
            openConn();
            string cmdText = "insert into testTable (c1, c2, c3, c4)"
                            + "VALUES (@c1, @c2, @c3, @c4)";
            MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);
            try
            {
                foreach (Item item in itemList)
                {
                    cmd.Parameters.Clear(); // it is needed
                    cmd.Parameters.AddWithValue("@c1", item.c1);
                    cmd.Parameters.AddWithValue("@c2", item.c2);
                    cmd.Parameters.AddWithValue("@c3", item.c3);
                    cmd.Parameters.AddWithValue("@c4", item.c4);
                    cmd.ExecuteNonQuery();
                }
            }
            catch (Exception ex)
            {
                flag = DBStatusCode.MySqlExcuteErr;
            }
            finally
            {
                cmd.Dispose();
            }
            closeConn();
            return flag;
        }
    }
}

 　　上边例子涉及到对MySql数据库的数据导入。可以看出（56~60），每循环一次，就会对数据库插入一次。当数据量比较小时，可能还看不出软件的卡顿现象；当数据量很大时，整个软件可能就会卡住几分钟了。所以，我们最好是当所有数据都准备好时，再一次性向数据库定入，以减少插入次数，以最终减少数据导入时间。而且，我们还想，在数据库插入失败的情况下还能够回滚。下边是改进的函数：

    // Insert
    public DBStatusCode insertTest(ItermList itemList)
        {
            DBStatusCode flag = DBStatusCode.ALL_OK;
            openConn();
            string cmdText = "insert into testTable (c1, c2, c3, c4)"
                            + "VALUES (@c1, @c2, @c3, @c4)";
            MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);
            MySqlTransaction tx = this.dbConn.BeginTransaction();
            cmd.Transaction = tx;
            try
            {
                foreach (Item item in itemList)
                {
                    cmd.Parameters.Clear(); // it is needed
                    cmd.Parameters.AddWithValue("@c1", item.c1);
                    cmd.Parameters.AddWithValue("@c2", item.c2);
                    cmd.Parameters.AddWithValue("@c3", item.c3);
                    cmd.Parameters.AddWithValue("@c4", item.c4);
                    cmd.ExecuteNonQuery();
                }
                tx.Commit();
            }
            catch (Exception ex)
            {
                flag = DBStatusCode.MySqlExcuteErr;
                tx.Rollback();
            }
            finally
            {
                cmd.Dispose();
            }
            closeConn();
            return flag;
        }

 

 　　这里的改进可以说还只是初步的。当数据特别大时，这种方法就会出问题了。因为计算机要一次性把非常多的数据插入到数据库，有可能因为内存不足等原因而导致最终导入时间过长等。所以，在有一些情况下，我们还得分批提交（tx.Commit()），例如每1000个数据提交一次，这样就能够大大减轻计算机和数据库负担了。

　　关于MySql事务介绍资料：

　　MySQL 事务

　　说说MySQL中的事务

 

　　关于批量插入数据，可参考的资源还有：

　　MySQL大量数据插入各种方法性能分析与比较

　　在C#中完成海量数据的批量插入和更新

　　[C#][SQL SERVER] 提高 Insert 效能

　　.NET 批量插入数据，DataSet, SqlDataAdapter.Update

　　datatable 使用SqlDataAdapter.Update批量插入更新数据