ADO.Net2.0技术与远程传输技巧!

ADO.NET 中DataTable中加载数据又两种方法 
（一）ADO.NET 中DataTable中加载数据又两种方法：
第一种
 //使用fill方法填充DataTable

private void useDataTableByFill()
    {
        SqlConnection myConnection = new SqlConnection(ConfigurationManager.ConnectionStrings["sqlConnectionString"].ConnectionString);
        DataTable myDataTable = new DataTable();

        SqlDataAdapter myDp = new SqlDataAdapter("select * from authors", myConnection);
        myDp.Fill(myDataTable);

        GridView1.DataSource = myDataTable.DefaultView;
        GridView1.DataBind();
        
        myConnection.Dispose();
        myDp.Dispose();        

    }

第二种
//使用DataReader方法
    private void useDataTableByDataReader()
    {
        SqlConnection myConnection = new SqlConnection(ConfigurationManager.ConnectionStrings["sqlConnectionString"].ConnectionString);
        DataTable myDataTable = new DataTable();

        SqlCommand myCommand = new SqlCommand("select * from authors", myConnection);
        myConnection.Open();

        SqlDataReader dr = myCommand.ExecuteReader(CommandBehavior.CloseConnection);
        myDataTable.Load(dr);

        GridView1.DataSource = myDataTable.DefaultView;
        GridView1.DataBind();

        dr.Close();
        dr.Dispose();
        myCommand.Dispose();                
    }

（二）.net 2.0远程传输数据集的优化方法 
参考文章
http://www.microsoft.com/taiwan/msdn/columns/adonet/AdoNet_20041231.htm
http://bokegu.com/forums/383/ShowPost.aspx

由于当前维护的项目的结构是:Winform + Webservice,所以在数据传输过程中消耗了很多的性能,因此在寻找一种简便实用的优化方法..

先是用BinaryFormatter序列化数据集,经过WebService传输后,客户端接收到byte[]格式的数据,再反序列化,得到数据集,这种方式,在网络传输时间延迟比较长的情况下效果比较明显,否则,序列化和反序列化再传输二进制的时间甚至超过了直接传送DataSet.所以是否采取这种二进制压缩数据集就没有多大意义了.

后来找到上面第一篇台湾同胞的文章,才发现在Vs2005的DataSet已经添加了一个RemotingFormat,是采用另外一种方式压缩的,(传说中.net1.1时期开源的DataSetSurrogate类),试了一下Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.
 /**//// <summary>
    /// Method for users data query with binaryFormatter
    /// </summary>
    /// <param name="err"></param>
    /// <returns></returns>
    public byte[] BinaryUserSelect(ref string err)
    {
        ClearCommand();
        m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
        DataSet dsResult = new DataSet();
        byte[] bArrayResult = null;
        try
        {                              
            dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
            // 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
            dsResult.RemotingFormat = SerializationFormat.Binary;
            MemoryStream ms = new MemoryStream();
            IFormatter bf = new BinaryFormatter();
            bf.Serialize(ms, dsResult);
            bArrayResult = ms.ToArray();
            ms.Close();
            // 
        }
        catch (Exception ee)
        {
            err = ee.ToString();
        }
        return bArrayResult;        
    }
2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

 /**//// <summary>
        /// Get user data with Binary format
        /// </summary>
        /// <returns></returns>
        public DataSet GetBinaryUserData()
        {
            string err = "";
            byte[] bUserData = svc.ByteArrayUserSelect(ref err);
            if (err != "")
            {
                MessageBox.Show(err);
                err = "";
                return null;
            }
            // 反序列化的过程
            MemoryStream ms = new MemoryStream(bUserData);
            IFormatter bf = new BinaryFormatter();
            object obj = bf.Deserialize(ms);
            DataSet dsResult = (DataSet)obj;
            //
            ms.Close();
            return dsResult;
        }
同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..

.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740 

（三）.net 2.0远程传输数据集的优化方法(续) 
对数据集序列化和反序列化的方法进行了一下简单的封装，使其可以得到重用的效果.见下面的类DatFormatter.

通过GetBinaryFormatData方法可以转换数据集为二进制，在服务器端使用,转换数据集格式。发送，客户端接收，得到二进制格式数据，使用RetrieveDataSet方法，反序列化，得到数据集，进行客户端操作。通过这些简单的操作(序列化和反序列化，将数据压缩)，可以使数据集等体积庞大的对象在远程传递中的时间大大减少，并且可以减少网络中断等问题对程序的影响。


 1using System;
 2using System.IO;
 3using System.Data;
 4using System.Runtime.Serialization;
 5using System.Runtime.Serialization.Formatters.Binary;
 6
 7namespace Common
 8{
 9    public class DataFormatter
10    {
11        private DataFormatter() { }
12        /**//// <summary>
13        /// Serialize the Data of dataSet to binary format
14        /// </summary>
15        /// <param name="dsOriginal"></param>
16        /// <returns></returns>
17        static public byte[] GetBinaryFormatData(DataSet dsOriginal)
18        {
19            byte[] binaryDataResult = null;
20            MemoryStream memStream = new MemoryStream();
21            IFormatter brFormatter = new BinaryFormatter();
22            dsOriginal.RemotingFormat = SerializationFormat.Binary;
23
24            brFormatter.Serialize(memStream, dsOriginal);
25            binaryDataResult = memStream.ToArray();
26            memStream.Close();
27            memStream.Dispose();
28            return binaryDataResult;
29        }
30        /**//// <summary>
31        /// Retrieve dataSet from data of binary format
32        /// </summary>
33        /// <param name="binaryData"></param>
34        /// <returns></returns>
35        static public DataSet RetrieveDataSet(byte[] binaryData)
36        { 
37            DataSet dataSetResult = null;
38            MemoryStream memStream = new MemoryStream(binaryData);
39            IFormatter brFormatter = new BinaryFormatter();
40
41            object obj = brFormatter.Deserialize(memStream);
42            dataSetResult = (DataSet)obj;
43            return dataSetResult;
44        }
45    }
46}

（四）ADO.NET 2.0 Dataset和Datatable 新功能新特性 
1.新的索引引擎更快的执行效率
   下面这段代码在2003中需要157秒，在2005中只要11秒就可以完成：
DataSet ds = new DataSet();

            ds.Tables.Add("BigTable");
            ds.Tables[0].Columns.Add("ID", Type.GetType("System.Int32"));
            ds.Tables[0].Columns["ID"].Unique = true;
            ds.Tables[0].Columns.Add("Value", Type.GetType("System.Int32"));

            Cursor.Current = Cursors.WaitCursor;

            DateTime datBegin = DateTime.Now;

            Random rand = new Random();
            int i, intValue;
            DataRow dr;

            for (i = 1; i <= 500000; i++)
            {
                try
                {
                    intValue = rand.Next();

                    dr = ds.Tables[0].NewRow();

                    dr["ID"] = intValue;
                    dr["Value"] = intValue;

                    ds.Tables[0].Rows.Add(dr);
                }
                catch { }
            }

            Cursor.Current = Cursors.Default;

            MessageBox.Show("Elapsed Time: " + (DateTime.Now - datBegin).Seconds.ToString());
            MessageBox.Show("count = " + ds.Tables[0].Rows.Count.ToString());
2.Dataset可以序列化为二进制文件
 string connstr = "server=(local);database=northwind;integrated security=true;async=true";

            DataSet ds = new DataSet();
            SqlDataAdapter dadpt = new SqlDataAdapter("select * from [order details]", connstr);
            dadpt.Fill(ds);

            BinaryFormatter bf = new BinaryFormatter();
            FileStream fs = new FileStream(@"c:\xml1.txt",FileMode.OpenOrCreate);

            ds.RemotingFormat = SerializationFormat.Binary; 

            bf.Serialize(fs,ds);     3.更独立的Datatable
  DataTable Write XML  string connstr = "server=(local);database=northwind;integrated security=true;async=true";
            SqlDataAdapter dadpt = new SqlDataAdapter("select * from [order details]", connstr);
            DataTable dt = new DataTable("Customer");
            dadpt.Fill(dt);

            dt.WriteXml(@"c:\DataTable.xml",true);
            dt.WriteXmlSchema(@"c:\DataTableSchema.xml");   DataTable Read XML
 StreamReader sr = new StreamReader(@"C:\DataTableSchema.xml");

            DataTable dt = new DataTable();
            dt.ReadXmlSchema(sr);

            dt.ReadXml(new StreamReader(@"c:\dataTable.xml"));

            this.dataGridView1.DataSource = dt;    DataTable Merge
 string connstr = "server=(local);database=northwind;integrated security=true;async=true";
            SqlDataAdapter dadpt = new SqlDataAdapter("select * from customers", connstr);
            DataTable dt = new DataTable("Customer");
            dadpt.Fill(dt);

            SqlDataAdapter dadpt1 = new SqlDataAdapter("select * from customers", connstr);
            DataTable dt1 = new DataTable("Customer1");
            dadpt1.Fill(dt1);

            dt.Merge(dt1);

            this.dataGridView1.DataSource = dt;  DataTable Load DataReader
 string connstr = "server=(local);database=northwind;integrated security=true;async=true";
            SqlConnection conn = new SqlConnection(connstr);
            conn.Open();
            SqlCommand cmd = new SqlCommand("select * from [order details]", conn);
            SqlDataReader dr = cmd.ExecuteReader();

            DataTable dt = new DataTable("Customer");
            dt.Load(dr);

            this.dataGridView1.DataSource = dt;

（五）ADO.NET 2.0 操作实例 
基于基类的提供者模型 
      提供者程序
     1.得到machine.config文件中所有注册的DbProvider 
      this.dataGridView1.DataSource = DbProviderFactories.GetFactoryClasses();
     2.指定一个连接信息，知道某种数据库程序，来得到连接字符串

 DbConnection conn = null;
               string strConnectionString = ADODOTNET2.Properties.Settings.Default.NorthwindConnectionString;
            DbProviderFactory f = DbProviderFactories.GetFactory("System.Data.SqlClient");
            conn = f.CreateConnection();
            conn.ConnectionString = strConnectionString;
               this.label1.Text = conn.ConnectionString.ToString();     3.枚举所有网内的所有的Data Sources
 Cursor.Current = Cursors.WaitCursor;
            try
            {
                // see this method in the example above
                DbProviderFactory f = DbProviderFactories.GetFactory("System.Data.SqlClient");
                // if our factory supports creating a DbConnection, return it.
                if (f.CanCreateDataSourceEnumerator)
                {
                    DbDataSourceEnumerator enu = f.CreateDataSourceEnumerator();
                    DataTable t = enu.GetDataSources();
                    // uses chooses a Data Row r
                    //DataRow r = t.Rows[0];
                    //string dataSource = (string)r["ServerName"];
                    //if (r[InstanceName] != null)
                    //    dataSource += ("\\" + r["InstanceName"]);
                    /**///// this method is defined below
                    //RewriteConnectionStringAndUpdateConfigFile(f, dataSource);

                    this.dataGridView1.DataSource = t;
                }
                else
                    Console.WriteLine("Source must be changed manually");
            }
            finally
            {
                Cursor.Current = Cursors.Default;
            }

ADO.NET 2.0中的DataSet和DataTable 
原文链接：http://msdn.microsoft.com/msdnmag/issues/05/11/DataPoints/default.aspx
 

MSDN2005年11月刊登载了John Papa的一篇文章《DataSet and DataTable in ADO.NET 2.0》，详细介绍了ADO.Net 2.0的一些新功能和特性，对于利用ADO.NET开发的程序员来说，是值得关注的。现介绍如下：
 

一．功能增强的DataTable

在ADO.NET1.x中，DataSet完全掩盖了DataTable的光芒，并非DataTable自身功能不够强大，实则是比较DataSet而言，很多功能在1.x版本中受到了限制。例如Merge功能，在ADO.NET1.x版本中，如果要合并两个表，只有是通过DataSet的Merge方法，才能完成，代码如下：


string sqlAllCustomers = "SELECT * FROM Customers";
string cnStr = @"Data Source=.;Initial Catalog=northwind;Integrated Security=True";

 

using (SqlConnection cn = new SqlConnection(cnStr))
{
    cn.Open();
    SqlCommand cmd = new SqlCommand(sqlAllCustomers, cn);
    SqlDataAdapter adpt = new SqlDataAdapter(cmd);
    DataTable dtCust1 = new DataTable("Customers");
    adpt.Fill(dtCust1);
    dtCust1.PrimaryKey = new DataColumn[]{dtCust1.Columns["CustomerID"]};
 

    DataTable dtCust2 = dtCust1.Clone();
    DataRow row1 = dtCust2.NewRow();
    row1["CustomerID"] = "ALFKI";
    row1["CompanyName"] = "Some Company";
    dtCust2.Rows.Add(row1); 

    DataRow row2 = dtCust2.NewRow();
    row2["CustomerID"] = "FOO";
    row2["CompanyName"] = "Some Other Company";
    dtCust2.Rows.Add(row2); 

    DataSet ds = new DataSet("MySillyDataSet");
    ds.Tables.Add(dtCust1);
    ds.Merge(dtCust2); 

    dgTest.DataSource = dtCust1;
}


在ADO.NET 2.0中，对DataTable作了改进，同样提供了Merge方法。因此如上的代码中，如果要合并表dtCust1和dtCust2，就不必再引入DataSet对象了：


dtCust1.Merge(dtCust2);


此外，ADO.NET1.x版本中，DataTable也无法完成Xml文件和数据表之间的转换。这个问题在2.0版本中，也得到了改进，DataTable也具备了和DataSet对象同样的操作xml文件的能力，包括方法ReadXml,WriteXml等。

DataSet和DataTable在2.0版本中，还提供了一个新的属性RemotingFormat。在对DataTable和DataSet对象进行序列化时，该属性标示序列化的格式是二进制还是xml。
 

二．轻量级对象和快速遍历

ADO.NET 2.0中的DataTable提供了CreateDataReader方法（在之前的版本名为GetDataReader），该方法将创建一个DataTableReader对象。DataTableReader与DataTable不同，它是一个轻量级的对象，其支持Disconnected，这一点与DataReader（SqlDataReader）不同。这些特点决定遍历DataTableReader对象将更加快速，占用的数据资源更少（Disconnected）。下面的代码创建了一个DataTableReader对象，并将其绑定到DataGridView控件上：


using (SqlConnection cn = new SqlConnection(cnStr))
{
    SqlCommand cmd = new SqlCommand(sqlAllCustomers, cn);
    SqlDataAdapter adpt = new SqlDataAdapter(cmd);
    DataTable dtCustomers = new DataTable("Customers");
    adpt.Fill(dtCustomers);
    DataTableReader dtRdr = ds.CreateDataReader();
    dgvCustomers.DataSource = dtRdr;
}


和DataReader一样，DataTableReader对象只能向前遍历，可以通过Read方法，定位到对象的第一行。如果DataTableReader如果是被一个包含有多个数据表的DataSet对象创建，DataTableReader也会包含多个结果集。通过调用NextResult方法，访问结果集序列。


using (SqlConnection cn = new SqlConnection(cnStr))
{
    // Create the Command and Adapter
    SqlCommand cmd = new SqlCommand(sqlAllCustomers, cn);
    SqlDataAdapter adpt = new SqlDataAdapter(cmd); 


    // Create a DataTable and fill it 
    DataTable dtCustomers = new DataTable("Customers");
    adpt.Fill(dtCustomers); 

    DataSet ds = new DataSet();
    ds.Tables.Add(dtCustomers);
    adpt.SelectCommand = new SqlCommand("SELECT * FROM Orders", cn);
    adpt.Fill(ds, "Orders"); 


    // Create the DataTableReader (it is disconnected)
    using(DataTableReader dtRdr = ds.CreateDataReader())
    {
        do
        {
            Console.WriteLine("******************************");
            while (dtRdr.Read())
            {
                Console.WriteLine(dtRdr.GetValue(0).ToString());
            }
        }
        while (dtRdr.NextResult());
    }
}

DataTableReader对象中数据表的顺序与DataSet中的数据表顺序一致。如果你需要制定特定的顺序，可以通过重载CreateDataReader方法来实现。


三．装载数据

可以通过DataTableReader对象生成DataTable和DataSet。利用DataTable和DataSet在2.0版本中新引入的方法Load，可以传递DataTableReader或者任何实现IDataReader接口的类对象。下面的代码就是通过Load方法将dt1的数据传递到新的数据表dt2中：

DataTableReader dtRdr = dt1.CreateDataReader();
DataTable dt2 = new DataTable();
dt2.Load(dtRdr);


在使用Load方法装载多行数据时，可以先调用BeginLoadData方法来避免通知(notifications)，索引维护（index maintenance）以及约束检查（constraint checking），然后再通过EndLoadData方法返回数据。


四．性能改进

这恐怕是ADO.NET 2.0最激动人心的改进。在1.x版本中，随着数据的增大，在使用DataTable和DataSet对象时，性能是不能令人满意的。ADO.NET 2.0对索引引擎作了很大的改进，使得2.0的数据访问能力获得极大的提高。以下面的测试代码为例：


DataTable dt = new DataTable("foo");
DataColumn pkCol = new DataColumn("ID", Type.GetType("System.Int32"));
pkCol.AutoIncrement = true;
pkCol.AutoIncrementSeed = 1;
pkCol.AutoIncrementStep = 1;
dt.Columns.Add(pkCol);
dt.PrimaryKey = new DataColumn[] { pkCol };
dt.Columns.Add("SomeNumber", Type.GetType("System.Int32"));
dt.Columns["SomeNumber"].Unique = true; 


int limit = 1000000;
int someNumber = limit;
DateTime startTime = DateTime.Now;
for (int i = 1; i <= limit; i++)
{
    DataRow row = dt.NewRow();
    row["SomeNumber"] = someNumber—;
    dt.Rows.Add(row);
}


TimeSpan elapsedTime = DateTime.Now - startTime;
MessageBox.Show(dt.Rows.Count.ToString() + " rows loaded in " + elapsedTime.TotalSeconds + " seconds.");


分别在Visual Studio.NET 2003和Visual Studio 2005环境下运行，结果比较如下：


Iterations  ADO.NET 1.1  ADO.NET 2.0
 
10,000      0.20         0.20
 
100,000     7.91         3.89
 
1,000,000   1831.01      23.78

（七）连接字符串大全
  http://www.connectionstrings.com/
（八） gridview中手工排序 
在asp.net 2.0中，如果是使用gridview的话，可以要对gridview进行排序的话，可以配合sqldatasource来使用，已经内建了排序的功能（即点列标题进行排序），但如果要配合其他数据源控件的话，则必须使用
自定义的排序方法了，今天学习到了如何用dataset搭配gridview的话，进行标题排序，现将其方法摘录如下：
   首先，用一个方法将数据取出来，放到DATASET里去，如下代码
private DataSet GetData() 
{

SqlConnection myConnection = new SqlConnection(ConnectionString);

SqlDataAdapter ad = new SqlDataAdapter("SELECT * FROM Categories", myConnection);

DataSet ds = new DataSet();

ad.Fill(ds);

return ds; 

}
然后，对gridview进行如下设置
  <asp:GridView ID="GridView1" runat="server" AllowSorting="True" OnSorting="GridView1_Sorting">
</asp:GridView> 
   然后，其gridview_sorting的自定义过程如下，首先添加一个属性
  public SortDirection GridViewSortDirection
{

get

{

if (ViewState["sortDirection"] == null)

ViewState["sortDirection"] = SortDirection.Ascending;

return (SortDirection) ViewState["sortDirection"]; 

}

set { ViewState["sortDirection"] = value; } 

}

   GridViewSortDirection 是一个简单的属性，用viewstate保存每次排序的方向
而GridView1_Sorting的代码如下：
  protected void GridView1_Sorting(object sender, GridViewSortEventArgs e)
{

string sortExpression = e.SortExpression;

if (GridViewSortDirection == SortDirection.Ascending)

{

GridViewSortDirection = SortDirection.Descending;

SortGridView(sortExpression, DESCENDING);

}

else

{

GridViewSortDirection = SortDirection.Ascending;

SortGridView(sortExpression, ASCENDING); 

} 

}
  在这里，首先得到用户点击要排序列的标题，然后判断当前gridviewsortdirection的属性值来判断，如果已经是升序的话，则设置GridViewSortDirection为降序，并调用一个sortgridview过程；否则默认是调用升序来排序；
  而sortgridview方法如下：
  private void SortGridView(string sortExpression,string direction)
{

DataTable dt = GetData().Tables[0]; 

DataView dv = new DataView(dt); 

dv.Sort = sortExpression + direction; 

GridView1.DataSource = dv;

GridView1.DataBind(); 

}
  在这里，接收两个参数,分别是sortExpression和direction,然后构成dataview进行排序，十分好理解

posted @ 2007-02-27 11:07  吴东雷  阅读(562)  评论(0)    收藏  举报