这一段时间,接触了不少CSV 文件。都是通过TextDriver 来处理的。有两种方式 :第一种是在数据库中建立一个表,然后一次性地将数据从CSV文件导入到表中;第二种方式是直接讲CSV文件所在的文件夹作为数据库,而将CSV文件作为数据库表来使用。
第一种方式: 先入库后使用
我们假设现在有有一个CSV文件Contacts.CSV 文件的内容是联系人信息。首先我们需要在数据库中建一个对应的表TC_Contacts,然后利用下面的SQL代码将CSV文件导入到这个表里面:

将CSV导入到数据库表
1 INSERT INTO TC_Contacts
2
3 SELECT * FROM
4 OPENROWSET('MSDASQL',
5 'Driver={Microsoft Text Driver (*.txt; *.csv)};
6 DEFAULTDIR=D:\Data;Extensions=CSV;',
7 'SELECT * FROM "Contacts.CSV"')
8
其中:1.TC_Contacts为目标表的名字。
对于目标表,要求对应的字段能够接收CSV文件中对象列的数据,这里特别需要注意的是字符串的长度,日期时间格式和整数浮点数的处理;由于CSV文件中实际上都是字符串,那么在导入的过程中就有可能出现不能转换的情况。例如:日期格式不符合数据库的要求,或者字符串不能转化为整数或者浮点数等。
对于目标表,字段数目和顺序可以和CSV文件中的不一样。其实在整个的SQL语句中只有OPENROWSET是用来处理CSV文件的。其它部分都是普通的T-SQL,在T-SQL中能做的事情在这里都可以做。例如:如果你的TC_Contacts比CSV多一个字段gid uniqueidentifier ,那么就可以把SQL语句修改为:

目标表的字段比较多
1 INSERT INTO TC_Contacts
2 SELECT newid(),* FROM
3 OPENROWSET('MSDASQL',
4 'Driver={Microsoft Text Driver (*.txt; *.csv)};
5 DEFAULTDIR=D:\Data;Extensions=CSV;',
6 'SELECT * FROM "Contacts.CSV"')
7
这样就可以给每条记录增加一个id了。
2.SQL代码中的DefaultDir 也就是D:\Data 是指存在于SQL Server服务器上的位置,而不是在提交该代码的客户机上。这一点对于初次接触的人来说很关键。SQL Server如果在服务器上找不到文件会报告错误。但是这个错误的消息不是那么直接了当。
3.有的CSV文件中第一行不是列标题,而是和其它行一样是普通的数据行。这个时候就需要一个Schema.ini来定义CSV文件的格式。Schema.ini的格式我会专门写一篇来介绍一下。在Schema.ini文件中会指定CSV文件的一些特性,这样有助于Microsoft Text Driver来处理数据.
第二种:直接使用
这种方式,目前我只知道在代码里面如何使用:下面是一段C#的代码,用来实现下面几个操作:
1.连接到CSV文件夹
2.从一张表中按条件读取数据
1
public DataTable LoadCSV()
{
2
//E:\CSV是CSV文件所在的文件夹
3
string aConnStr="Driver={Microsoft Text Driver (*.txt;*.csv)};Dbq=E:\\CSV; Extensions=asc,csv,tab,txt; Persist Security Info=False";
4
using (OdbcConnection aCon = new OdbcConnection(aConnStr))
5
{
6
aCon.Open();
7
//Leads.CSV是我们要读取的CSV文件
8
string aSQL = "select * from Leads.CSV";
9
OdbcDataAdapter aDataAdapter = new OdbcDataAdapter(aSQL, aCon);
10
DataTable aTable = new DataTable();
11
aDataAdapter.Fill(aTable);
12
return aTable;
13
}
14
}
和第一种方法一样,如果CSV文件中没有列标题,那么也需要提供schema.ini文件来确定表结构。
第一种方法的优点在于:可以一次将大量的数据写入到SQL Server表里面去,这样就可以利用数据库的能力在做下一步的处理操作.
第二种方法的优点在于: 可以在代码中直接使用CSV的数据,不需要先载入到数据库这样一个过程。但是毫无疑问Text Driver提供的操作是有限的。所以一般来说现将数据全部导入到一个中间表,然后再处理的方式比较好。
posted @ 2008-08-25 13:23
朱良雄 阅读(1671)
评论(10) 编辑 收藏 网摘 所属分类:
SQL 数据库