開發網頁爬蟲的必備工具 - curl converter
覺得我們的內容實用嗎? MyApollo 電子報讀者募集中!歡迎訂閱電子報!
每個程式設計師或多或少都寫過幾個網頁爬蟲,開發時不外乎是與瀏覽器的開發者工具(DevTools)進行一場深度對話,檢查網頁原始碼結構、查看網頁呼叫什麼 API 等等。
如果我們感興趣的資料是透過 API 取得,那麼下一步會是使用開發者工具複製其 cURL 指令後,嘗試是否可以透過修改其指令取得資料,最後再轉成程式。
curl converter 將 cURL 指令到程式的過程變得十分簡單,只要貼上 cURL 指令,它就能夠轉成各種語言的程式碼,目前支援 Python, C#, Go, Java, Javascript 等常見程式語言。
這麼好用的工具,可以收藏起來,下次再遇到寫網頁爬蟲時就能夠派上用場!