大揭秘!寫商品價格爬蟲必須知道的資料格式 - schema.org/Product

你想過電商那麼多,而且每個商品頁都長不一樣,比價網站是怎麼寫網頁爬蟲的嗎?

其實除了針對每個電商客製化爬頁解析程式之外,還是有 1 個公定的格式可以參考,那就是 https://schema.org/Product

schema.org 提供多種常見事物(thing)的資料結構,例如人(Person), 地點(Place), 商品(Product)都可以在 schema.org 中找到相應的資料結構,舉商品為例, price, brand, color, weight, width 等都在 https://schema.org/Product 中可以找到,有些電商網站會在商品頁嵌入遵從 schema.org/Product 格式的資料,所以可以輕鬆用 1 套程式通殺很多有遵從 schema.org/Product 格式的網站。(比價網站的工程師最愛這種 follow 標準的網頁啦~

當然 schema.org 也不止作用於此,如果你想設計一些資料庫相關欄位,也可以到這個網站查查有沒有類似的 schema 可以參考或是補漏,多少可以補足你可能不知道的部分。

所有的 schema.org 列表: https://schema.org/docs/full.html

【後話】

終極大絕招是直接跟電商要所謂的 product feed, 通常電商如果有跟 Google Ads 或者 Facebook 廣告配合的話,都會有一份遵守 Google 或 Facebook 格式的 feed 可以使用(CSV 或 XML 格式),能拿到的話,又比寫爬蟲更加輕鬆了, pandas ㄧ下子就能打完收工⋯⋯。 至於電商給不給你這份資料那又是另一個維度的故事了⋯⋯。

FOLLOW US

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!