Excel 批量快速导入mySQL 解决方案~~

1 最近在做一个交叉表的数据批量导入,采用过很多方式一直没有特别理想的解决方案,昨天终于解决了,以下是测试记录:
2
3 OpenFileDialog openfile = new OpenFileDialog();
4 openfile.Filter = "工作薄(*.xlsx)|*.xlsx|所有文件(*.*)|*.*";
5 if (openfile.FilterIndex == 1 && openfile.ShowDialog() == DialogResult.OK)
6 {
7 string path = openfile.FileName;
8 string strConn = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path + ";Extended Properties=\"Excel 12.0;HDR=YES\"";
9 System.Data.OleDb.OleDbConnection oleConn = new System.Data.OleDb.OleDbConnection(strConn);
10 oleConn.Open();
11 System.Data.OleDb.OleDbDataAdapter oleDa = new System.Data.OleDb.OleDbDataAdapter("select * from [sheet1$]", oleConn);
12 DataSet ds = new DataSet();
13 oleDa.Fill(ds);
14 strConn.Clone();
15 dgvJjList.DataSource = ds.Tables[0];
16 }
17
18 this.backgroundWorker1.RunWorkerAsync();
19
20 数据导入:分为两个步骤:第一、先把数据从EXCEL导入到DataGridView;第二、启动后台处理线程。
21
22 在线程中同步更新UI控件:
23
24 public delegate void MyInvoke(string str);
25
26 delegate void Starttqdata();
27
28 public void SetTxt(string str)
29 {
30 textBox2.Visible = true;
31 textBox2.Text = "正在导入"+str.ToString()+"条数据.";
32 }
33
34 ////
35
36 GetDataGridView()
37
38 {
39
40 ////DataGridView数据绑定
41
42 }
43
44 ////
45
46 在线程中调用:
47
48 MyInvoke mi = new MyInvoke(SetTxt);
49 BeginInvoke(mi, new object[] { row.Index.ToString() });
50
51 this.Invoke(new Starttqdata(GetDataGridView));
52
53 后台线程处理:
54
55 一种方式:
56
57 1、先把数据全部插入到一个临时表中,和你导入的目标表相同的表结构
58
59 2、然后利用Load data OutFile到一个*.txt文本文件中
60
61 3、利用Load data Infile *.txt到目标数据表中
62
63 另外一种方式:
64
65 1、先把数据全部插入到一个临时表中,和你导入的目标表相同的表结构
66
67 2、将临时表数据导入到目标数据表中,当然要判断是否有该记录,如有更新,没有插入,呵呵,没有load data Infile Replace方便了。
68
69 10W条数据在10s-20s之间,应该还是在可承受范围之内。当然更为合适的方式就是导入数据的excel格式与你的目标表格式相同,那就执行效率更高了,20W条数据只需要几s就搞定了。
posted @ 2011-02-27 22:52  AriLee  Views(1233)  Comments(0Edit  收藏  举报