BULK INSERT如何将大量数据高效地导入SQL Server

在实际的工作需要中,我们有时候需将大量的数据导入到数据库中。这时候我们不得不考虑的就是效率问题。本文我们就介绍了一种将大量数据高效地导入SQL Server数据库的方法,该方法是使用BULK INSERT来实现的,接下来就让我们来一起了解一下这部分内容。

源数据(文本文件)

下载了大量的股票历史数据,都是文本格式的:

每个文件第一行包含股票代码,股票名称,数据类型.第二行是数据列的名称:

数据表

在数据库中新建了一个数据表TestStock,并设置以下字段,但没有关于”成交额”的字段,因为以后的计算不会用到这个数据。另外这里关于价格的字段没有使用money数据类型,decimal足矣。

编写格式化文件

当前数据的格式化文件为:

  1. <?xmlversionxmlversion="1.0"?> 
  2.  
  3. <BCPFORMAT 
  4.  
  5. xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" 
  6.  
  7. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> 
  8.  
  9. <RECORD> 
  10.  
  11. <FIELDIDFIELDID="1"xsi:type="CharTerm"TERMINATOR=","/> 
  12.  
  13. <FIELDIDFIELDID="2"xsi:type="CharTerm"TERMINATOR=","/> 
  14.  
  15. <FIELDIDFIELDID="3"xsi:type="CharTerm"TERMINATOR=","/> 
  16.  
  17. <FIELDIDFIELDID="4"xsi:type="CharTerm"TERMINATOR=","/> 
  18.  
  19. <FIELDIDFIELDID="5"xsi:type="CharTerm"TERMINATOR=","/> 
  20.  
  21. <FIELDIDFIELDID="6"xsi:type="CharTerm"TERMINATOR=","/> 
  22.  
  23. <FIELDIDFIELDID="7"xsi:type="CharTerm"TERMINATOR="\r\n"/> 
  24.  
  25. </RECORD> 
  26.  
  27. <ROW> 
  28.  
  29. <COLUMNSOURCECOLUMNSOURCE="1"NAME="Date"xsi:type="SQLDATE"/> 
  30.  
  31. <COLUMNSOURCECOLUMNSOURCE="2"NAME="OpenPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  32.  
  33. <COLUMNSOURCECOLUMNSOURCE="3"NAME="HighPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  34.  
  35. <COLUMNSOURCECOLUMNSOURCE="4"NAME="LowPrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  36.  
  37. <COLUMNSOURCECOLUMNSOURCE="5"NAME="ClosePrice"xsi:type="SQLDECIMAL"PRECISION="6"SCALE="2"/> 
  38.  
  39. <COLUMNSOURCECOLUMNSOURCE="6"NAME="Volumn"xsi:type="SQLINT"/> 
  40.  
  41. </ROW> 
  42.  
  43. </BCPFORMAT> 

暂且先保存在C盘目录下吧,文件名叫BCPFORMAT.xml

编写BULKINSERT语句:

  1. BULKINSERTTestStock  
  2.  
  3. FROM'C:\SH600475.txt'  
  4.  
  5. WITH(  
  6.  
  7. FORMATFILE='C:\BCPFORMAT.xml',  
  8.  
  9. FIELDTERMINATOR=',',  
  10.  
  11. ROWTERMINATOR='\r\n'

执行BULKINSERT的速度很快,结果如下:

同样的效果,如果从文本中读一行记录,执行一次INSERTINTO语句的话,需要10秒左右,由此可见BULKINSERT的高效。

关于使用BULK INSERT将大量数据导入SQL Server数据库的知识就介绍到这里了,希望本次的介绍能够对您有所帮助。

【编辑推荐】

  1. SQL Server 2005数据库nolock使用详解
  2. SQL Server 2005无法连接到本地服务器的解决
  3. SQL Server如何查询当前服务器有多少连接请求
  4. SQL Server通过整理索引碎片和重建索引提高速度
  5. SQL Server 2008安装无法通过性能计数器一致性的解决

文章来源网络,作者:运维,如若转载,请注明出处:https://shuyeidc.com/wp/283913.html<

(0)
运维的头像运维
上一篇2025-05-14 03:48
下一篇 2025-05-14 03:49

相关推荐

  • 个人主题怎么制作?

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程,无论是用于个人博客、作品集、社交媒体账号还是品牌形象,核心都是围绕“个人特色”展开,以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程,明确主题定位:找到个人特色的核心主题定位是所有工作的起点,需要先回答……

    2025-11-20
    0
  • 社群营销管理关键是什么?

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群,实现用户留存、转化和品牌传播,其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明:明确社群定位与目标社群管理的首要任务是精准定位,需明确社群的核心价值(如行业交流、产品使用指导、兴趣分享等)、目标用户画像……

    2025-11-20
    0
  • 香港公司网站备案需要什么材料?

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程,尤其需兼顾中国内地与香港两地的监管要求,由于香港公司注册地与中国内地不同,其网站若主要服务内地用户或使用内地服务器,需根据服务器位置、网站内容性质等,选择对应的备案路径(如工信部ICP备案或公安备案),以下从备案主体资格、流程步骤、材料准备、注意事项……

    2025-11-20
    0
  • 如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求,构建系统性、多维度的推广体系,以下从市场定位、策略设计、执行落地及效果优化四个维度,详细拆解企业上云推广的实践路径,精准定位:明确目标企业与核心价值企业上云并非“一刀切”的方案,需先锁定目标客户群体,提炼差异化价值主张,客户分层……

    2025-11-20
    0
  • PS设计搜索框的实用技巧有哪些?

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量,以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明,帮助打造符合需求的搜索框,设计前的规划明确使用场景:根据网站或APP的整体风格确定搜索框的调性,例如极简风适合细线条和纯色,科技感适合渐变和发光效果,电商类则可能需要突出搜索……

    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注