爬蟲應用在數位行銷可以做甚麼｜產品開發案例應用Web Crawler

偶爾聽到哪邊網站有漏洞，可以爬個名單拿來投廣；又或是臉書的使用者資料全部Download。而爬蟲真的有這麼神奇、簡單？這一篇想講，如果你剛好是做行銷產品開發相關工作，爬蟲或許能提供分析市場的資訊。

論數位行銷，臉書、IG這兩個社群平台的使用度也會更相關，相對的爬取難度也會更高，「包括不能重複登錄、要提交cookie」等，如果登入次數太頻繁，也會被認定機器人，要求驗證。

如果剛好有做競品分析需要資料蒐集，學會爬蟲的好處就是，你寫一套腳本，放著等待一下，就會有你要的EXCEL表格等你分析。

章節內容

以膠原蛋白開發品項舉例

爬蟲可以將，iOPENMall上的膠原蛋白「產品價格、產品圖片、產品規格、產品名稱」取得，並直接整理出一份EXCEL檔 (還有很多格式)，後續全看公司人員要怎麼分析使用。其他相關電商平台，像是蝦皮、MOMO，資料都不同，可以取得的產品資訊也會不一樣。

如上圖範例，為了快速爬取，我只挑選「產品名稱、產品價格、產品網址」做為資料蒐集。當然如果廠商還要更細的資料，「特色、優惠、評價」等，也都可以做抓取動作。

全看程式人員的功力，以及網站的防爬機制，例如國內幾個大電商平台，也沒有很好爬取，就算可以偽裝成使用者，爬取的速度也會拉得很長、而且帳號也有機會被封鎖。所以還要額外做很多測試，弄起來至少也要好幾個小時。最後是，需要定期維護程式，因為此刻能爬，未來不一定還能爬，因為網站隨時都在更新。

臉書IG、GOOGLE，這些或許大家都有聽過對應的程式，尤其有些街訪會有一些自動化的機器人發文、加社團的功能。大多玩股票的投資人，也會喜歡寫一支專屬的爬蟲，並做成自己想要看的報表，也很方便。

看懂https傳輸的概念、懂GA4的傳輸邏輯，還有理解GA4都蒐集甚麼原始資料。如果你有興趣，可以回去查月之前寫的「Referrer是怎麼被定義出來的」。個人認為PY語言也是未來的趨勢之一，不僅好上手、而且應用層面跟數位行銷非常相關，就算是應用在個人的生活中，PY也是一個學了不會虧的工具。