點藍字關注設為星標 ☆ 優先賞閱
數據化審計 :問題導向、應用至上、解決痛點
內容導讀用 調用 IBM DB2 數據庫接口實現多文件批量建表及數據導入。應用場景
在審計項目的前審階段,審計人員通常需進行大量的數據準備工作,為下一步進行數據挖掘與分析提供基礎。
通常情況下用vbs將數據導入數據庫,對從各類業務系統提取的數據,或是業務部門提供的各類業務報表,審計人員可直接使用Excel進行分析處理。
但如果獲取的數據是多源異構的小文件,且文件數目比較多的時候,需打開大量文件,并且受限于電腦自身硬性配置,導致實際處理的數據量較小。
本文主要介紹使用 調用 IBM DB2 數據庫接口實現多源異構數據批量建表及數據導入,可大大提高前審階段的數據準備效率。
處理環境
(1)安裝IBM DB2數據庫。
(2)安裝 3.X環境(本文使用整合環境),并安裝庫函數。若可鏈接外網,可使用“pip ”安裝。
整合環境 的安裝參見文章:
若無法訪問外網或是版本較低,建議采取離線安裝的方式。
如何在不聯網的內部工作環境安裝 庫,參見文章:
具體步驟如下:
解決思路
對于有數據字典的數據:
使用庫函數讀取數據結構;
生成SQL建表語句,使用庫函數建表;
使用庫函數讀取數據文件;
逐行生成插入語句,使用庫函數導入數據。
對于僅有表頭而未配套數據字典的數據:
使用庫函數讀取數據文件;
確定表頭所在行數;
生成SQL建表語句,使用庫函數建表;
逐行生成插入語句,使用庫函數導入數據。
實戰案例
以常見的有表頭而未配置數據字典的數據批量解析和導入為例。
第一步:數據準備和特征分析。
確定數據格式及特征。對需要導入的數據進行預覽和分析,總結數據特征。
第二步:程序所需的支持庫。
第三步:建立與DB2數據庫的連接。
根據需連接的數據庫屬性用vbs將數據導入數據庫,做好用戶名、密碼等參數的維護。
第四步:獲取擬導入DB2數據庫的文件名并讀取數據。
第五步:確定表頭并生成表結構。
第六步:建表并導入數據。
使用說明1-導入速率
調用DB2插入數據,效率等同于使用對已建成表格導入數據。
因此,該程序更適用于多文件、小數據量的批量導入,而對于數據量大且僅能存儲為文本類型的文件,建議使用DB2命令窗口Load導入。
2-編碼格式