1.0Fortune Insighthttps://prime.fortuneinsight.com/web錢琛https://prime.fortuneinsight.com/web/posts/author/chinshunrich600338<blockquote class="wp-embedded-content"><a href="https://prime.fortuneinsight.com/web/posts/559304">《工具運用》如何快速學習Web Scraping？</a></blockquote> <script type='text/javascript'> <!--//--><![CDATA[//><!-- !function(c,d){"use strict";var e=!1,n=!1;if(d.querySelector)if(c.addEventListener)e=!0;if(c.wp=c.wp||{},!c.wp.receiveEmbedMessage)if(c.wp.receiveEmbedMessage=function(e){var t=e.data;if(t)if(t.secret||t.message||t.value)if(!/[^a-zA-Z0-9]/.test(t.secret)){for(var r,a,i,s=d.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),n=d.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),o=0;o<n.length;o++)n[o].style.display="none";for(o=0;o<s.length;o++)if(r=s[o],e.source===r.contentWindow){if(r.removeAttribute("style"),"height"===t.message){if(1e3<(i=parseInt(t.value,10)))i=1e3;else if(~~i<200)i=200;r.height=i}if("link"===t.message)if(a=d.createElement("a"),i=d.createElement("a"),a.href=r.getAttribute("src"),i.href=t.value,i.host===a.host)if(d.activeElement===r)c.top.location.href=t.value}}},e)c.addEventListener("message",c.wp.receiveEmbedMessage,!1),d.addEventListener("DOMContentLoaded",t,!1),c.addEventListener("load",t,!1);function t(){if(!n){n=!0;for(var e,t,r=-1!==navigator.appVersion.indexOf("MSIE 10"),a=!!navigator.userAgent.match(/Trident.*rv:11\./),i=d.querySelectorAll("iframe.wp-embedded-content"),s=0;s<i.length;s++){if(!(e=i[s]).getAttribute("data-secret"))t=Math.random().toString(36).substr(2,10),e.src+="#?secret="+t,e.setAttribute("data-secret",t);if(r||a)(t=e.cloneNode(!0)).removeAttribute("security"),e.parentNode.replaceChild(t,e)}}}}(window,document); //--><!]]> </script><iframe sandbox="allow-scripts" security="restricted" src="https://prime.fortuneinsight.com/web/posts/559304/embed" width="600" height="338" title="“《工具運用》如何快速學習Web Scraping？” — Fortune Insight" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe>https://prime.fortuneinsight.com/web/wp-content/uploads/2021/07/selenium_logo.jpg284305有網友問應該如何學習網頁撮取 （web scraping），以及應否將這類工作outsource出去找人做。由於這個題目很關乎量化分析的數據來源，想做一個較詳細的解答。 先定義web scraping。這個字的意思是在不同的網頁上收集資料，並以程式代替人手進行操作。進行web scraping的程式，稱為web scraper，可以撮取你認為有用的數據，例如港交所網頁的期貨、期權數據，或不同加密貨幣交易所展示的non price data。 如果自己沒有編程背景，找替工編寫web scraper是否可取？其實視乎替工的質素。由於編寫web scraper一般都希望拿取比較customised的數據，就算能在勞工市場找到懂得編寫web scraper的programmer，也未必可以100%滿足自己的要求。 更重要的是，如果數據來源的網頁有格式上的轉變，令原本的web scraper不能運作，自己懂得web scraping技巧的話，就可以更快進行相應調節，不會錯失任何時間的數據點。 那麼，web scraping難學嗎？應該如何學習web scraping？個人經驗而言，假如沒有人guide，自學的確會比較慢。不過，如果有一些基本方向，或有對web scraping框架的認識，自學其實也可以很快。 第一個要理解的概念，是web scraping本質上其實要分成兩步：scraping及對網頁進行解析（parsing）。嚴格來說，scraping指下載網頁內容，parsing則指從已下載的網頁內容中抽取有用數據。以上提及的網頁內容，一般是指html檔案，亦即承載着整個網頁的結構及數據的檔案。 所以，要做scraping（下載）其實不難，更考技巧的反而是parsing。這裏就要介紹第二個概念：選擇器（selector）。從一個網頁檔案中抽取有用的資料，就必要知道資料的位置，selector就是表達這種位置的方式。行內有兩大selector可供選擇，分別為xpath及CSS Selector。個人認為學懂xpath已經綽綽有餘。而且，xpath的語法及邏輯都很像Windows的檔案路徑（file path），初學者也會很易上手。 然後，就要理解對網頁進行scraping（下載）的框架的分別。比較常用的有兩種框架，分別應付不同類型的網頁。如果網頁內容比較簡單，沒有大量的JavaScript令網頁內容不斷更新（例如港交所的部分網頁），一般可以直接使用get request下載整個網頁的內容，在python透過requests package就可以直接執行。 但是，如果網頁有大量的內容更新（例如某些加密貨幣交易所的網頁），使用get request就不能完整地將所有數據下載，因此就要使用另外一個scraping框架：連結瀏覽器（connected browser）。這個框架的概念其實相當簡單，只是以程式代替人手不斷瀏覽網頁，例如填寫登入資料、揀選資料篩選器、按到下一頁等等。這樣就可以將自己想要的數據全部顯示出來，然後進行下載。在python中，Selenium就是執行這個框架的最主流package。 切記，不論使用哪一種scraping方法，下載的頻率也不能太高，一般而言要相隔10秒或以上才可以下載另一個網頁，否則你的IP address會被視為對網頁進行攻擊，很大機會會被禁止瀏覽網頁。 最後，就是如何儲存數據的問題。數據量少的話，可以將下載的網頁內容放到電腦的硬盤（disk）中，亦即將數據以檔案的形式放到電腦內。但是，數據量太多的話，這個方法就會變得相當沒有效率，因為不論儲存、搜索、以至parsing的運行時間都會很長。 因此，如果要處理大數據，就可能要使用另外一種形式的數據庫將網頁數據儲存起來，例如SQL或mongoDB。當然，這個方法的操作相對複雜，對編程有一定要求。 總括而言，要入手web scraping的話，可以記住以下的關鍵字：xpath、requests、以及Selenium。Google一下就會發現有不少可靠的自學渠道，初學者也能很快上手。 有什麼問題歡迎再問，希望幫到大家。 錢琛