2022年3月17日，北京科技大學經濟管理學院工商管理系“人力資源大數據實踐項目”開展了第二次課程教學。按照疫情防控期間相關要求，本次授課依舊采取騰訊會議的方式進行，有幸邀請到新道科技股份有限公司高級講師曹曄進行講授。同學們對曹老師的上課方式已經有所熟悉，和著老師的講課節奏，課程進度十分順利。曹老師對同學們的大數據基礎進行了摸底測試，緊接著便開始了“干貨”的教學——數據清洗與數據挖掘。曹老師從大數據來源、數據結構類型和一般數據收集方法與途徑這三個方面進行了講解，并帶領同學們進行了數據爬取的實操。
一、大數據來源
曹老師解釋說，關于大數據的來源，從數據本體來看分為內部來源和外部來源。數據內部來源有企業信息管理系統，包括人力資源系統、財務管理系統、客戶關系管理系統和OA系統——辦公自動化；部門上報數據，是獲得數據的簡易渠道視頻網站使用數據挖掘，只需要發布數據需求通知，各分公司或部門就會按照要求填報數據上來，收集數據的速度較快；內部調查數據，人力資源部通常會使用問卷調查來收集所需數據；物聯網系統，包括智能儀表、智能設備、視頻監控系統等。
數據外部系統包括政府公開數據，這是政府公開信息公開出版的社會經濟數據，一般通過政府機構網站來獲取數據，與人力資源相關的主要是統計局，人社部等官方網站的公開數據；企業發布數據，通過上市公司發布的年報，可以獲取一部分可以利用的數據；人力資源行業網絡數據，包括人力資源行業商業調查數據、網絡招聘平臺發布的數據和線上勞動外包平臺發布的數據；公共社交網絡數據，包含社交網站發布的數據和在線社區發布的數據。
二、數據結構類型
在數據結構類型方面視頻網站使用數據挖掘，曹老師介紹了三種數據結構：結構化數據、非結構化數據和半結構化數據。一般情況下非結構化數據占用內存較大，因為它常常包含圖像、聲音、網頁和視頻等信息。
三、一般數據收集方法與途徑
在一般數據收集方法與途徑方面，曹老師指出現行一般的數據收集方法與途徑有網絡爬取、數據調用、網絡搜索、數據填報和調查數據這五大類。本次課程主要對網絡爬取進行講解與實際操作。
隨后，曹老師向同學們介紹了12款網絡大數據采集工具，并著重介紹了后羿采集器和八爪魚、爬山虎采集器，以及我們熟知的。這幾款數據采集器也是當前比較流行的幾款，功能強大、實用，上手快，操作簡單。后羿采集器頗受曹老師的青睞，也在后面的舉例中讓我們一睹其風采。
曹老師告訴同學們使用的爬蟲程序不僅可以獲取新道人才網的信息，還可以去其他人才網站爬取人才資源信息，像獵聘網、58同城、BOSS直聘等網站都是選擇的對象，并以獵聘網為例示范了人力資源數據爬取的操作。
最后，曹老師進行了數據清洗、數據挖掘的示例教學。同學們對這一環節非常感興趣，積極參與數據清洗與挖掘的練習。在進行模型選擇和建模時，有部分同學出現了因素選擇操作失誤的問題，曹老師耐心地進行了答疑。課后同學們紛紛表示收獲頗豐，對人力資源大數據這一項目的興趣更加深厚。
供稿｜工商管理系