[scrapy] 實戰記錄 - 台北 101 網站

攝影師：Pixabay

為了增加百貨公司品牌爬蟲的內容， 近期開始研究台北 101 網站，找到這裡可以看到全部的品牌，把這些都爬出來就行了

先找出正確的 element

從下圖可看出，這些品牌存在於 "listarea logo" class 下面的 "cardobj lazyload show" class 中

問題：

準備好 request https://www.taipei-101.com.tw/tw/shopping/brandsearch 然後去拿 "cardobj lazyload show" class 裡的資料，但會發現抓不到資料，將 response.text 印出來後存成檔案才發現，"listarea logo" class 裡是沒有內容的

處理方式：

發現這些品牌資訊是另外 request 去拿到 json 檔案回來 parse 而成

這邊直接找出此 request，直接用 python 去抓回來 parse 完成