大數據時代〈一〉- 別以為自己真的懂 Big Data

最近「大數據（ Big Data ）」嚴然變成流行字，感謝科技界的搜索引擎、智能電話、社交媒體等等，由於我們的生活越來越離不開網絡，智能手機、平板、電腦……每日透過各項產品連接互聯網並使用的資料越來越龐大，形成新的話題。曾經是科技界的新寵兒，現在變成商業界的奇貨。誰能掌握在手，誰就能獲得更大的商機。

你真的懂得大數據嗎？

仔細想想，你真的懂得大數據嗎？筆者發現很多人其實都是道聽塗說，一知半解。最近 RADICA DATA LAB 早前進行「大數據市場應用調查」，表示教育水平更高者更熟悉大數據。

大數據其實並不是甚麼新奇奧秘的玩意，說穿了它就只是 Found Data ，將零散雜亂的各種數據統合分析，從而演算出某些結論、推測以及反應。昔日的數據庫是被動的，它要求使用者逐一回饋，像是填寫各項問卷、蒐集技術樣本等等。

「最可能的答案」而非「最正確的答案」

不論是收集過程、數量以及分析數據都需要花費大量時間，而且往往是針對一些特定主題及目的，數據亦不夠全面。然而由於現在電腦及手機的普及，以及網絡通訊的流行，實現新的數據收集方式：將大量「數位化資訊」進行演算分析從而「數據化」。即使是普通人也會聽聞及發現，為什麼手機會知道自己的喜好，搜索時都是將自己常去的網站搬前，顯示的廣告都是自己有興趣的，這就是大眾所感知到的「大數據」如何影響自己。

大數據有別過去收集數據的方式，它不需要刻版而特定的數據，縱使再零碎不全，都一律交由電腦收集及識別。大眾日常於網絡上做的每一步活動，都有紀錄下來，讓有關方面可以因應需要分析用家個人喜好、居住地區、考慮條件、特定瀏覽時間等等提供「最可能的答案」，而非「最正確的答案」。

大數據重視關連

大數據是違反科學的：科學講求精確，它卻講求模糊。科學講求因果，它只重視關連。科學只紀錄有用的數據，它卻是所有數據都有價值。早於 20 世紀 20 年代 B.Russell 就提出過有關的論文，及後 1965 年 L.A.zadeh 發表模糊集合理論，正式奠定基礎。模糊理論實際上是模糊集合、模糊關係、模糊邏輯、模糊控制、模糊量測等理論的泛稱。

過去人類尤其是西方科學重精確輕模糊，胡適亦曾撰文＜差不多先生傳＞，崇尚西方學風的他們抨擊諷刺中國人特有的「近似推理（ Approximation reasoning ）」：缺乏科學精神，凡事模稜兩可，只要差不多就好。諷刺的是不出數十年，西方科技發展就要學習差不多先生，追求不明確與模糊概念。事實上，模糊理論應用最有效最廣泛的領域就是模糊控制。模糊控制出人意料的解決了傳統西方理論邏輯無法解決或難以解決的疑難，並取得了一些驚人的成效：大數據就是其中的表表者。

大數據未必百分百正確，但又合乎一般人理解的範圍

例如「青年」這個概念，它的內涵大家都清楚明白，但是什麼樣的年齡階段內的人是青年，恐怕大家莫衷一是，因為在「青年」這個概念中沒有一個清晰確定的邊界與外延，這就是模糊概念。人們在認識模糊性時往往帶有主觀性，每個人對模糊事物的認知不可能完全相同。我們詢問一千人他們認知中「年青」的年齡範圍，那麼我們可能得到一千個不同的答案。儘管如此，當我們用模糊統計的方法對海量數據進行分析時，答案又具有一定的規律性。

大數據就是以相近的原理運作，假設我們要求電腦在甲城市報告「低收入青年的數量」，這裡所說的「低收入」、「青年」都是模糊概念，過去的統計學要先求出「何謂低收入」「何謂青年」的「精確範圍」然後才能進行下一步的統計：你要先告訴電腦某個薪金以下是低收入，哪個年齡階層是青年，然後在資料庫指定欄位找符合的條目。然而在大數據時代下，電腦能通過模糊概念去分析判斷，演算法會自己跑自己分析「低收入」及「青年」大概的範圍，將相關的數據條列出來。它未必百分百正確，但又合乎一般人理解的範圍。

續下文：大數據時代〈二〉- 有關收集數據的二三談

相關文章：