大數(shù)據(jù)時代“小數(shù)據(jù)”在政府統(tǒng)計中的作用
- 2019-01-04 09:53:00
- admin 轉(zhuǎn)貼
從聯(lián)合國的大數(shù)據(jù)專門機構(gòu)“全球脈動”,到英國國家統(tǒng)計局的“大數(shù)據(jù)項目”; 從2014 年3月成立的由18個國家和9個國際組織組成的大數(shù)據(jù)全球工作組,到我國阿里研究院發(fā)布的網(wǎng)購核心商品價格指數(shù)(aSPIcore),大數(shù)據(jù)已經(jīng)滲入并影響到了統(tǒng)計工作的很多方面,給政府統(tǒng)計帶來了一定的沖擊和活力。
然而,大數(shù)據(jù)并不是萬能的,“小數(shù)據(jù)”也有大數(shù)據(jù)不能取代的優(yōu)勢。在大數(shù)據(jù)時代研究小數(shù)據(jù)的作用,可以有效避免大數(shù)據(jù)項目的盲目跟風和系統(tǒng)內(nèi)人財物資源的無效配置,同時能夠更好地發(fā)揮大數(shù)據(jù)在政府統(tǒng)計工作中的作用。小數(shù)據(jù)是相對于大數(shù)據(jù)的概念,一般來說小數(shù)據(jù)體積小、易于快速理解、數(shù)據(jù)的讀取分析和處理都相對簡單。
大數(shù)據(jù)主要來自互聯(lián)網(wǎng),而小數(shù)據(jù)的來源大多是抽樣調(diào)查、深訪、行政記錄和實驗設計等傳統(tǒng)統(tǒng)計方法。相比大數(shù)據(jù),小數(shù)據(jù)擁有一些情況下成本低、能夠有效控制和了解精度、易于創(chuàng)新的特點,因此大數(shù)據(jù)分析往往離不開小數(shù)據(jù)。
一些情況下使用小數(shù)據(jù)的成本低
大數(shù)據(jù)的獲得需要一定的成本。首先大數(shù)據(jù)是二手數(shù)據(jù),其擁有權(quán)不是政府統(tǒng)計部門,獲得這些大數(shù)據(jù)需要政府機構(gòu)同各個數(shù)據(jù)所有者進行溝通和談判,因此大數(shù)據(jù)可獲得性差、時間和經(jīng)濟成本都很高。
其次,使用大數(shù)據(jù)還需要有效解決隱私等法律問題。最后,即使獲得了這些數(shù)據(jù),大數(shù)據(jù)的存儲、讀取、分析和管理都需要一定成本。
目前的情況下,很多時候并不需要海量的樣本,設計科學的小型調(diào)查就可以實現(xiàn)研究目標。如監(jiān)測經(jīng)濟運行的先行指標采購經(jīng)理人指數(shù)(PMI),作為世界上經(jīng)濟活動的重要指標和經(jīng)濟變化的晴雨表,我國制造業(yè) PMI 的樣本量只有 730 家企業(yè),然而這已經(jīng)大大多于美國、日本和英國等發(fā)達國家的樣本量。由于抽樣設計科學和抽取的企業(yè)具有優(yōu)良的代表性,制造業(yè) PMI 能夠準確反映經(jīng)濟運行的走勢。
由此可見,監(jiān)測制造業(yè)企業(yè)的經(jīng)濟運行情況,并不一定要獲得海量的企業(yè)大數(shù)據(jù),便可以很好的達到服務宏觀經(jīng)濟決策的目的。相反,盲目追求樣本量數(shù)量的巨大,反而有可能因為抽取到的是有偏的樣本得出錯誤的結(jié)論。
小數(shù)據(jù)可以進行統(tǒng)計推斷,能夠有效控制和了解精度
傳統(tǒng)的統(tǒng)計調(diào)查,如住戶調(diào)查、電話調(diào)查等方法能夠計算抽樣的誤差和精度,并通過調(diào)整樣本量和抽樣方法來讓抽樣誤差控制在可以接受的范圍內(nèi)。大數(shù)據(jù)雖然數(shù)據(jù)量非常大,但是很多時候并不是統(tǒng)計總體,也無法計算抽樣誤差。
即使有成百萬上千萬的樣本量,如果不是總體有代表性的樣本,也很難推斷出總體的性質(zhì)。比如阿里巴巴的網(wǎng)購核心商品價格指數(shù),雖然淘寶網(wǎng)的商品交易量非常大,但是我國居民的消費行為除了線上購買,還有線下購買,線上線下的商品價格還是有一定的差異的。
同時,網(wǎng)上購物者的選擇除了阿里巴巴旗下的淘寶和天貓商城,還有京東、一號店和唯品會等電商。除了采價點不一樣之外,阿里巴巴的價格指數(shù)商品分類和權(quán)重也與 CPI 不盡相同,因此至少目前阿里巴巴的網(wǎng)購核心商品價格指數(shù)并不能完全替代國家統(tǒng)計局發(fā)布的 CPI。
小數(shù)據(jù)可以發(fā)現(xiàn)很多大數(shù)據(jù)無法涉及的問題,更有利于創(chuàng)新
使用大數(shù)據(jù)比較難以創(chuàng)新,首先,社交媒體、搜索引擎和電商交易記錄等大數(shù)據(jù)很多人都可以用來分析,卻很少有成熟的政府統(tǒng)計產(chǎn)品;同時大數(shù)據(jù)雖然數(shù)據(jù)量海量,記錄的卻都是過去發(fā)生的事情,未來的變數(shù)很難預料;大數(shù)據(jù)雖然有海量的信息量,但由于是二手數(shù)據(jù),也不見得擁有研究者需要的關(guān)鍵信息。相反,合理利用小數(shù)據(jù),能發(fā)現(xiàn)大數(shù)據(jù)無法發(fā)現(xiàn)的規(guī)律,并且更有利于創(chuàng)新。
一個典型的案例是樂高(LEGO)玩具的例子,20世紀 90 年代由于計算機和互聯(lián)網(wǎng)游戲的普及,樂高公司的玩具市場受到了巨大的沖擊。幾乎所有的大數(shù)據(jù)分析都顯示年輕一代喜歡更加簡單的玩具,因此樂高積木玩具的組件越來越大,不過大數(shù)據(jù)分析并沒有拯救樂高公司日益下滑的銷售額。
樂高的市場轉(zhuǎn)機完全是由于公司高層分析了小數(shù)據(jù),即在一次入戶深訪中,一個 11 歲的德國男孩無意中得意地形容自己的運動鞋一只磨得很破另一只完好無損可以證明自己的滑板技術(shù)。樂高的管理層由此開始意識到玩具的買家更需要的是玩具帶給他們的成就感,因此樂高更改了營銷策略,玩具的組件不僅不再變大迎合市場,而是越做越小。增加了玩具的復雜性反倒吸引了很多小孩購買樂購。
正是這樣的小數(shù)據(jù)調(diào)查,讓樂高公司了解到了客戶可能自己也沒有意識的炫耀性消費目的,從而制造了很多像蘋果公司一樣的忠實粉絲。這個案例充分說明了光靠大數(shù)據(jù)是不
夠的,機構(gòu)創(chuàng)新也需要更有營養(yǎng)、更加深刻的小數(shù)據(jù)。
大數(shù)據(jù)分析也離不開小數(shù)據(jù)的分析方法
大數(shù)據(jù)分析的結(jié)果必然是通過小數(shù)據(jù)的形式展現(xiàn)的,這樣大數(shù)據(jù)研究成果的使用者才能更好理解其結(jié)論。目前,大數(shù)據(jù)分析的過程也是需要通過并行計算等方法將大數(shù)據(jù)轉(zhuǎn)化為統(tǒng)計從業(yè)者可以處理和理解的小數(shù)據(jù)。
同時,在評估是否需要采用大數(shù)據(jù)項目時,也可以從小數(shù)據(jù)著手,進行預調(diào)查,來評估采用大數(shù)據(jù)方法的必要性。亞馬遜是全球的在線圖書銷售商,每天都能產(chǎn)生幾十個 TB 的交易數(shù)據(jù),通過對這些大數(shù)據(jù)的分析,能夠更好安排進貨和庫存,給消費者提供更優(yōu)質(zhì)的服務。
最重要的是這些數(shù)據(jù)讓亞馬遜更好地了解購書者,20 年 來 亞馬遜積累了非常豐富的消費者行為數(shù)據(jù)。不過非常有意思的現(xiàn)象是亞馬遜在 2015 年也開了實體書店,并且承諾和網(wǎng)站書店保持一致的價格,這對傳統(tǒng)書店來說是個雪上加霜的消息。對于亞馬遜來說,建立書店實體店,可以更加近距離的接觸消費者,從而了解到大數(shù)據(jù)分析無法得到的客戶信息,這些數(shù)據(jù)都是傳統(tǒng)實體書店擁有且妥善保存不愿與在線書商分享的信息。
通過了解消費者在實體書店的體驗,再結(jié)合亞馬遜積累的大數(shù)據(jù),可以全方位的了解消費者,從而提供更好的消費服務。這個案例從另一個側(cè)面也說明亞馬遜這樣的電商也注意到了小數(shù)據(jù)在大數(shù)據(jù)分析研究中不可替代的作用。充分利用大數(shù)據(jù)時代的最新研究成果,政府統(tǒng)計可以豐富其統(tǒng)計產(chǎn)品,提供更加及時、快速和準確的統(tǒng)計產(chǎn)品。
在大數(shù)據(jù)時代,小數(shù)據(jù)依然擁有其不可或缺的作用,政府統(tǒng)計需要繼續(xù)利用這些傳統(tǒng)方法來為政府和社會公眾提供數(shù)據(jù)服務。同時政府統(tǒng)計需要知道大數(shù)據(jù)并不是萬能的,大數(shù)據(jù)也有一定的缺陷,大數(shù)據(jù)和小數(shù)據(jù)方法相互結(jié)合,才能更好利用大數(shù)據(jù)生產(chǎn)統(tǒng)計產(chǎn)品。
- 上海市社會工作研究會2024年學術(shù)年會暨第二屆長三角金融社會工作論壇在滬舉行
- 人工智能如何改變社會科學的面貌?——AI與社會科學的學術(shù)對話紀實(下)
- 人工智能如何改變社會科學的面貌?——AI與社會科學的學術(shù)對話紀實(上)
- 校企協(xié)同 | 浙江越秀外國語學院到訪上海萌泰數(shù)據(jù)
- 2024年(第十六屆)國際數(shù)據(jù)挖掘與應用統(tǒng)計研究會年會在哈爾濱商業(yè)大學成功舉辦
- 全面深化改革與中國社會學新征程:中國社會學會2024年學術(shù)年會在哈爾濱工程大學舉行
- 2024 萌泰·銳研 AI FOR SOCIAL SCIENCE 產(chǎn)品發(fā)布會成功舉辦