[scrapy] 實戰記錄 - 台北 101 網站

攝影師：Pixabay

為了增加百貨公司品牌爬蟲的內容， 近期開始研究台北 101 網站，找到這裡可以看到全部的品牌，把這些都爬出來就行了

先找出正確的 element

從下圖可看出，這些品牌存在於 "listarea logo" class 下面的 "cardobj lazyload show" class 中

問題：

準備好 request https://www.taipei-101.com.tw/tw/shopping/brandsearch 然後去拿 "cardobj lazyload show" class 裡的資料，但會發現抓不到資料，將 response.text 印出來後存成檔案才發現，"listarea logo" class 裡是沒有內容的

處理方式：

發現這些品牌資訊是另外 request 去拿到 json 檔案回來 parse 而成

這邊直接找出此 request，直接用 python 去抓回來 parse 完成

[程式][投資] 查看多隻美股有被哪些 ETF 持有

QuoteInspector.com

ETFDB 裡面的 ETF Stock Exposure Tool 很好用，可以查出單一隻美股有被哪些 ETF 持有，但卻無法一次查出多隻美股有被哪些 ETF 持有，雖然 ETF Channel 有這個功能，但還是比較喜歡 ETFDB 的介面，於是我用 Python 做出了讓 ETFDB 能夠查看多隻美股有被哪些 ETF 持有的功能。

這功能算是我練習用的，請勿使用在商業行為，一天也不能使用太多次，否則會被擋掉，請小心服用 github

作法如下：

先將最後輸入的美股代號從 ETF Stock Exposure Tool 找出所有買進的 ETF，送出正確的 URL 後再利用這篇的方法，找出中間使用到多頁查詢的 request，再將多個 request 抓回來，這些資料是透過 json 儲存的，拿到 response 後將 ETF 的名稱抓出來

找到這些 ETF 後再逐一送出 request 去看他的持有股票，再將這些股票逐一比對你輸入的美股代號，就可以找出哪些 ETF 有持有你想查的多隻美股

執行範例：找出同時擁有 AAPL TSLA COST 的 ETF 是 ONEQ

US_ETFs_Exposure.py AAPL TSLA COST

[程式][投資] 查看近 12 年 EPS 資訊及其年增率

在 這篇 有提到過，希望能讓投資更加穩健，在 理財達人秀 - 存股敵8個 看到了 EPS 的重要，想要可以在找新的股票或是在檢視手中股票時可以方便的查詢 EPS 和年增率，另外也想學習 Python，就寫了一個 script，同時也把程式放在 github 上讓大家方便存取。

透過下面網址連到公開資訊觀測站，輸入公司代號後，就會列出 "簡明綜合損益表(三年)"，表格的最下方就有 "基本每股盈餘（元）" 資訊，我是以這個資訊當做例子來製作 script。
https://mops.twse.com.tw/mops/web/t163sb17

想要看三年以前的資料，可以選擇歷史資料和年度即可，但是 101 年以前的資料，網站會指引你去別的網頁查，使用方法跟上面的網頁完全一樣。

利用 Python 送出 4 次 request 取回這些資料後，利用 pandas 把網頁資訊分析後找出 EPS，再把這些 EPS 資料存到變數裡，最後再將每年的年增率算出，然後排成適合閱讀的列表，如上圖。

關於怎麼查看網頁 POST 資料，可以參考 這篇。

這只是個開始，之後會看還需要什麼樣的資訊，繼續寫新的 script。

Reference:

【存股敵8個】第1集！存股vs.定存股差很大？

My github

[程式] 如何查看 POST 資料，以公開資訊觀測站為例