利用 Python urllib 模組在 URL 附加網址參數

Posted on  Mar 8, 2018  in  Python 程式設計 - 中階  by  Amo Chen  ‐ 2 min read

Python 內建 urllib.parse 模組可以幫助解析 URL 中的參數(或稱 query) ,如果要對 URL 中的參數進行新增或刪除,可以善用 urllib.parse 省去自己寫的麻煩。

p.s. python 2 中是 urllib.urlparse

首先看看 urllib.parse 如何運作,以下用 urllib.parse 中的 urlparse 解析 Google 搜尋網址:

>>> from urllib.parse import urlparse
>>> r = urlparse('https://www.google.com.tw/search?q=International%20Women%27s%20Day')
>>> r
ParseResult(scheme='https', netloc='www.google.com.tw', path='/search', params='', query='q=International%20Women%27s%20Day', fragment='')

可以看到 urlparse 解析網址後回傳一個 ParseResult ,其中 query 就是我們感興趣的部分。

接下來可以用 dir() 細看 ParseResult 有沒有什麼參數可以使用:

>>> dir(r)
['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__module__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__rmul__', '__setattr__', '__sizeof__', '__slots__', '__str__', '__subclasshook__', '_asdict', '_encoded_counterpart', '_fields', '_hostinfo', '_make', '_replace', '_source', '_userinfo', 'count', 'encode', 'fragment', 'geturl', 'hostname', 'index', 'netloc', 'params', 'password', 'path', 'port', 'query', 'scheme', 'username']

發現有 query 屬性在 ParseResult 中,所以我們可以 r.query 取得 query 的值。

接著,把 query 轉成 dictionary 方便我們添加網址中的參數,可以使用 urllib.parse 中的 parse_qs 幫助我們達到目的:

>>> from urllib.parse import parse_qs
>>> d = parse_qs(r.query)
>>> d
{'q': ["International Women's Day"]}

parse_qs 成功解析出參數 q ,還順便貼心的進行解碼,把 query 中的 %20 換回空白以及 %27 換回單引號。

開始為網址添加參數吧,以下添加 2 個 GA 參數作為範例!

>>> d['utm_source'] = 'myapollo'
>>> d['utm_media'] = 'blog'

添加好之後,接著是把上述的 d 組合回新的 query 字串,可以使用 urlencode 把 dictionary 組合回 query 字串。

>>> from urllib.parse import urlencode
>>> new_query = urlencode(d)
>>> new_query
'utm_media=blog&q=%5B%22International+Women%27s+Day%22%5D&utm_source=myapollo'

最後使用 urllib.parse 中的 urlunparse 把 new_query 組合網址中,但是 urlunparse 只能接受 ParseResult 或者任何長度 6 的 iterable (tuple, list) 。其中 ParseResult 屬於 tuple ,所以無法更改任何資料,因此須將它轉為 list 後將 new_query 放回去,最後再用 urlunparse 組合起來。

>>> parts = list(r)
>>> parts[4] = new_query # query 在第 5 個
>>> urlunparse(parts)
'https://www.google.com.tw/search?utm_media=blog&q=%5B%22International+Women%27s+Day%22%5D&utm_source=myapollo&utm_media=blog'

See, 完成了!

透過 1 個簡單的需求,也同時學會 urlparse , urlunparse , parse_qs , urlencode 等方便的函數。

Reference

https://docs.python.org/3/library/urllib.parse.html

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

追蹤新知

看完這篇文章了嗎?還意猶未盡的話,追蹤粉絲專頁吧!

我們每天至少分享 1 篇文章/新聞或者實用的軟體/工具,讓你輕鬆增廣見聞提升專業能力!如果你喜歡我們的文章,或是想了解更多特定主題的教學,歡迎到我們的粉絲專頁按讚、留言讓我們知道。你的鼓勵,是我們的原力!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!