用白話文談數學公式 - Jaccard Index (雅卡爾指數)

Posted on  Jan 7, 2023  in  數學概念  by  Amo Chen  ‐ 3 min read

假設給定 2 段句子,我們有沒有辦法能夠用數學衡量這 2 段句子之間的相似程度呢?譬如我們怎麼衡量 2 篇論文是否抄襲?抄襲的程度怎麼數值化?要回答這些問題,其實不會很難。

數學上有個最簡單的公式,可以幫助我們衡量相似度:

“Jaccard Index"

Jaccard 是一個非常簡單的公式,容易理解之外,在程式的實作上一點也不困難,是做自然語言處理(Natural language processing)相似度或樣本距離相關問題時,非常基本實用的選項之一。

Jaccard Index 的概念

Jaccard Index 的概念就是計算交集(intersect)在聯集(union)裡佔的比例。

舉例來說,如果要衡量 2 段句子的相似度,可以先把 2 段句子視為 2 個集合,2 個集合重疊的部分越大,就代表 2 個句子的相似度越高,如下圖所示:

Jaccard Index 的公式

了解 Jaccard Index 的概念之後,其公式就不難理解了:

分子就是交集部分,分母則是聯集的部分。

也由於是計算交集佔聯集的比例,所以 Jaccard Index 的值會介於 0 到 1 之間, 1 代表 100%, 是 2 個集合完全重疊在一起,相似度 100% 。

實際例子

那麼實際拿個例子,來算一下吧。

假設以下 2 個句子:

  • 數學好好玩
  • 大學好好玩

我們可以把這 2 個句子以字為單位,拆成 2 個集合:

  • 數學好好玩 => 數, 學, 好, 玩
  • 大學好好玩 => 大, 學, 好, 玩

接著可以算出 2 者的交集與聯集:

  • 交集 = 學, 好, 玩
  • 聯集 = 大, 數, 學, 好, 玩

最後將交集與聯集轉為元素個數,以數字進行計算,就能得到 Jaccard Index 。

Jaccard Index
= 交集個數 / 聯集個數
= 3 / 5
= 0.6

我們可以說 數學好好玩大學好好玩 之間的 Jaccard Index (或稱 Jaccard similarity coefficient) 是值 0.6 。

或者也可以稱 2 者之間以 Jaccard Index 衡量,有 60% 的相似度。

值得一提的是,產生交集與聯集的方式不局限於前文所提及的以字為單位,也可以用詞作為單位,例如下面是以詞(word)為單位的結果:

  • 數學好好玩 => 數學, 好好玩
  • 大學好好玩 => 大學, 好好玩

上述範例計算出來的結果就會變成:

Jaccard Index
= 交集個數 / 聯集個數
= 1 / 3
= 0.33333333

若要以詞為單位進行計算,就得仰賴好的斷詞(tokenize)程式或系統,否則也會影響最後結果。

例如下面是很有可能的斷詞結果:

  • 學數學 => 學, 數學
  • 學好數學 => 學, 好數學
Jaccard Index
= 交集個數 / 聯集個數
= 1 / 3
= 0.33333333

但如果將 學好數學 斷詞成 學, 好, 數學,其結果會變成:

Jaccard Index
= 交集個數 / 聯集個數
= 2 / 3
= 0.6666666

所以計算 Jaccard Index 時,可以視樣本的情況,多評估幾種產生交集聯集的方式,以選擇較符合需求的方式。

Jaccard distance

學會 Jaccard Index 之後,就能夠理解 Jaccard distance (或稱雅卡爾距離)的意思。

Jaccard distance 是計算 2 個樣本或集合的距離,定義為 1 - Jaccard Index , 其公式為:

用白話文講,就是兩者相似度越大,距離越近,距離為 0 就代表 2 者 100% 相似。

以上,就是關於 Jaccard Index 的說明。

References

Jaccard index - Wikipedia

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!