2024年2月25日 星期日

[scrapy] 實戰記錄 - 台北 101 網站

攝影師:Pixabay

為了增加百貨公司品牌爬蟲的內容, 近期開始研究台北 101 網站,找到這裡可以看到全部的品牌,把這些都爬出來就行了

先找出正確的 element

從下圖可看出,這些品牌存在於 "listarea logo" class 下面的 "cardobj lazyload show" class 中

問題:

準備好 request https://www.taipei-101.com.tw/tw/shopping/brandsearch 然後去拿 "cardobj lazyload show" class 裡的資料,但會發現抓不到資料,將 response.text 印出來後存成檔案才發現,"listarea logo" class 裡是沒有內容的

處理方式:

發現這些品牌資訊是另外 request 去拿到 json 檔案回來 parse 而成

這邊直接找出此 request,直接用 python 去抓回來 parse 完成