假設給定 2 段句子，我們有沒有辦法能夠用數學衡量這 2 段句子之間的相似程度呢？譬如我們怎麼衡量 2 篇論文是否抄襲？抄襲的程度怎麼數值化？要回答這些問題，其實不會很難。
數學上有個最簡單的公式，可以幫助我們衡量相似度：
“Jaccard Index"
Jaccard 是一個非常簡單的公式，容易理解之外，在程式的實作上一點也不困難，是做自然語言處理(Natural language processing)相似度或樣本距離相關問題時，非常基本實用的選項之一。
Jaccard Index 的概念
Jaccard Index 的概念就是計算交集(intersect)在聯集(union)裡佔的比例。
舉例來說，如果要衡量 2 段句子的相似度，可以先把 2 段句子視為 2 個集合，2 個集合重疊的部分越大，就代表 2 個句子的相似度越高，如下圖所示：
Jaccard Index 的公式
了解 Jaccard Index 的概念之後，其公式就不難理解了：
分子就是交集部分，分母則是聯集的部分。
也由於是計算交集佔聯集的比例，所以 Jaccard Index 的值會介於 0 到 1 之間， 1 代表 100%, 是 2 個集合完全重疊在一起，相似度 100% 。
實際例子
那麼實際拿個例子，來算一下吧。
假設以下 2 個句子：
數學好好玩大學好好玩
我們可以把這 2 個句子以字為單位，拆成 2 個集合：
數學好好玩=>數, 學, 好, 玩大學好好玩=>大, 學, 好, 玩
接著可以算出 2 者的交集與聯集：
- 交集 =
學, 好, 玩 - 聯集 =
大, 數, 學, 好, 玩
最後將交集與聯集轉為元素個數，以數字進行計算，就能得到 Jaccard Index 。
Jaccard Index
= 交集個數 / 聯集個數
= 3 / 5
= 0.6
我們可以說 數學好好玩 與 大學好好玩 之間的 Jaccard Index (或稱 Jaccard similarity coefficient) 是值 0.6 。
或者也可以稱 2 者之間以 Jaccard Index 衡量，有 60% 的相似度。
值得一提的是，產生交集與聯集的方式不局限於前文所提及的以字為單位，也可以用詞作為單位，例如下面是以詞(word)為單位的結果：
數學好好玩=>數學, 好好玩大學好好玩=>大學, 好好玩
上述範例計算出來的結果就會變成：
Jaccard Index
= 交集個數 / 聯集個數
= 1 / 3
= 0.33333333
若要以詞為單位進行計算，就得仰賴好的斷詞(tokenize)程式或系統，否則也會影響最後結果。
例如下面是很有可能的斷詞結果：
學數學=>學, 數學學好數學=>學, 好數學
Jaccard Index
= 交集個數 / 聯集個數
= 1 / 3
= 0.33333333
但如果將 學好數學 斷詞成 學, 好, 數學，其結果會變成：
Jaccard Index
= 交集個數 / 聯集個數
= 2 / 3
= 0.6666666
所以計算 Jaccard Index 時，可以視樣本的情況，多評估幾種產生交集聯集的方式，以選擇較符合需求的方式。
Jaccard distance
學會 Jaccard Index 之後，就能夠理解 Jaccard distance (或稱雅卡爾距離)的意思。
Jaccard distance 是計算 2 個樣本或集合的距離，定義為 1 - Jaccard Index , 其公式為：
用白話文講，就是兩者相似度越大，距離越近，距離為 0 就代表 2 者 100% 相似。
以上，就是關於 Jaccard Index 的說明。
References
FOLLOW US
