摘要:
方法一:环境:win7+sqlserver2008工具:bcp测试效率:新闻数据库,10000000行,25.8G导出时间:约2个小时每秒约1326行方法二:用循环执行sql语句,分段写入文件。1Bcp介绍bcp实用工具可以在MicrosoftSQLServer实例和用户指定格式的数据文件间大容量复制数据。使用bcp实用工具可以将大量新行导入SQLServer表,或将表数据导出到数据文件。除非与queryout选项一起使用,否则使用该实用工具不需要了解Transact-SQL知识。若要将数据导入表中,必须使用为该表创建的格式文件,或者必须了解表的结构以及对于该表中的列有效的数据类型。(1)导入 阅读全文
摘要:
Hive技术文档——AuthorHuangFx 2013/01/29Hive是什么?Hive是蜂房的意思,为什么hadoop上的这层数据仓库叫Hive?因为生物学上蜂房是一个结构相当精良的建筑,取名Hive足见则个数据仓库在数据存储上也是堪称精良的。Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用,它提供了类似于SQL语法的HQL语句作为数据访问接口,这使得普通分析人员的应用Hadoop的学习曲线变缓。第一:Hive是建立在Hadoop上的数据仓库基础构架。第二:很低的学习代价便可以让用户在Hadoop中进行存储、查询和分析存储的大规模数据。简单的理解:如果用户只是需要 阅读全文