很多人都知道 Python 3 開始預設使用 UTF-8 編碼(encoding)，但如果問你 UTF-8 編碼是怎麼運作的？應該很多人會說不出個所以然。
例如，為什麼在 Python 使用以下程式碼會得到長度為 16:
>>> len('生日快樂🎂'.encode())
這背後的原因就跟 UTF-8 有關！
本文環境
- Python 3
淺談 UTF-8
首先，現代運算都是以 byte 為單位儲存字元。
而我們最熟悉的英文字母、數字、標準半形符號等，都被定義在 1 個稱為 ASCII (美國標準資訊交換碼 / American Standard Code for Information Interchange)的編碼方式中，而且 ASCII 編碼的其實只佔用 7-bit, 所以每個字元可以用數字 0 到 127 代表，ㄧ共包含 128 個字元。
不過全世界各種文字加起來是無法單用 0 - 127 的數字表示，而且遠遠超過 1 byte 所能容納的 256 個數字，所以才有 UTF-8, UTF-16 等編碼方式誕生，讓程式可以表達 ASCII 以外的字元，其原理是用多個 bytes 表示 1 個非 ASCII 的字元。
UTF-8 是現在最流行的編碼方式，不僅相容 ASCII, 還能用可變長度表示 ASCII 以外字元，因此 UTF-8 可以用 1-byte 到 6-byte 表示 1 個字元。
直接從範例開始會更容易理解。
首先，因為 ASCII 只佔用 7-bit, 所以它的 8-bit 表示法一定是：
0xxxxxxx
例如字母 a 轉換成 8-bit 表示：
01100001
所以 UTF-8 規定 byte 的最高有效位元是 0 時，就代表它是 ASCII 字元，這讓既有的 ASCII 編碼方式也不必為了 UTF-8 做任何改變(migration) 。
UTF-8 還規定遇到 ASCII 以外的字元，就至少用 2 bytes 表示，最前面 bits 的 1 的數量，代表這個字元需要幾個 bytes 組合起來，例如：
110xxxxx 代表會用到 2 個 bytes
1110xxxx 代表會用到 3 個 bytes
11110xxx 代表會用到 4 個 bytes
111110xx 代表會用到 5 個 bytes
1111110x 代表會用到 6 個 bytes
p.s. 需要注意的是，UTF-8 實際上只使用 1 到 4 個 bytes 表示字元，並不會使用 5 或 6 個 bytes
所以 UTF-8 佔用 2 bytes 以上的字元，可以在第 1 個 byte 就知道它的長度！
那第 2 個 byte 以後，都必須是 10xxxxxx ，開頭的 10 代表它接續前面的 byte （同時也避開 0 開頭的 ASCII 規則）。
舉 「台」為例，它在 UTF-8 中是 1 個 3 bytes 的字串：
>>> len('台'.encode())
3
拆成 3 個 bytes 表示的話：
>>> for b in '台'.encode():
... print(bin(b))
可以看到它的編碼方式（每 byte 分行呈現）如下：
11100101
10001111
10110000
可以注意到第 1 個 byte 為 1110 開頭，代表「台」由 3 個 bytes 組成，接下來 2 個 bytes 都是 10 開頭，代表接續前面 byte 。
那具體要怎麼表示「台」的整數數值？
很簡單，把 1110, 10 這些扣掉之後，剩下的 bits 全部組合在一起，就是 UTF-8 字元的數值，扣掉之後如下：
0101
001111
110000
最後串在一起表示：
0101001111110000
開頭的 0 可以進一步省略，變成：
101001111110000
用 Python 也可以算出相同值（請忽略 0b, 那是 Python 的表示法）：
>>> bin(ord('台'))
'0b101001111110000'
字元 台 對應的整數值為 21488, 也確實是超過 1 byte 所能表示的數值。
這就是 UTF-8 編碼原理！
回到開頭，為什麼 len('生日快樂🎂'.encode()) 會得到長度 16 呢？這是因為 UTF-8 編碼可變長度的關係，生日快樂 每個字都是佔用 3 bytes 的 UTF-8 字元，而 🎂 則是佔用 4 bytes 的 UTF-8 字元， 12 + 4 為 16 。
以上！
Enjoy!
References
bytes: The Lesser-Known Python Built-In Sequence • And Understanding UTF-8 Encoding