測試結果
防衞惡意程式效能測試
2款網絡防衞較遜色
因針對MacOS操作系統的惡意程式網頁較少,這項測試沒有包括MacOS樣本,試驗模擬日常使用Windows操作系統電腦時感染惡意程式的過程,包括瀏覽網頁或從網站下載軟件,實驗室利用400個從網上下載的惡意程式,測試樣本能否阻擋相關網頁的顯示及阻止惡意程式的下載、打開或執行,而惡意程式一旦被執行又會否阻擋對系統的改動或其惡意行為等。測試根據惡意程式何時被偵察到及最終會否被發現、樣本傳達給用戶的訊息及其有用程度來評分。大部分樣本均表現不錯,多達20款的成功偵察率高於95%,獲4點或以上評分;「Webroot」(#15)及「Malwarebytes」(#16)的平均成功偵察率分別只有60%及85%,獲1.5點及2.5點較低評分。
MacOS安全軟件防衞USB 裝置整體較佳
實驗室收集了包括180個對應Windows系統及20個對應MacOS操作系統的已知惡意程式檔案,並儲存在USB裝置內,然後將USB裝置插入離線(offline)及在線(online)狀態下的電腦,再將當中的惡意程式檔案複製至電腦的硬碟中,如果過程中順利完成複製,實驗室便會嘗試開啟該等已複製的惡意程式;此項測試根據惡意程式在哪個階段及最終是否被樣本發現來作評分。
分析發現,大部分樣本的防衞於離線時的能力明顯不足,亦不及在線時的表現,而影響評分,Windows視窗及MacOS系統下測試的樣本,分別有14款及2款獲2.5點或以下的低評分。「Eset」(#1和#27)、「Bitdefender」(#2和#25)、「GData」Internet Security 2020(#9)、「Bullguard」(#14)及「Kaspersky」Internet Security(#26)表現稍佳,獲3.5點或以上評分。
1款實時保護誤判較多
與網絡防衞相同,MacOS樣本沒有進行這項測試。網絡安全軟件可能偶然會誤將正常網頁或檔案介定為惡意程式,並將之阻擋、隔離或刪除,這種情況稱為誤判(false positive),如果誤判經常發生,除產生不便及令人感到煩擾外,亦會令用戶覺得該網絡安全軟件不太可靠,甚至失去信心而索性將軟件關閉。16款於Windows視窗系統下測試的樣本,誤判率低於5%,表現優秀,獲5點或4.5點的高評分,「Microsoft」(#23)於多次測試的誤判率均超過10%,只得2點的評分。
手動檔案掃描表現懸殊
實驗室收集了40,000個對應Windows系統、400個對應Android智能手機操作系統及20個對應MacOS操作系統的已知惡意程式(known malware),當中對應Android的惡意程式雖然不會直接影響電腦,但一旦傳送到手機,便會將其感染;用作測試的惡意程式類型包括木馬(trojans)、後門程式(backdoors)、蠕蟲(worms)、病毒及其他類別的間諜程式等,全部存放在電腦硬碟中,然後以樣本於在線及離線狀態下進行手動掃描偵察。樣本間的表現懸殊,於Windows 視窗系統下測試的樣本以「Eset」Internet Security 2020(#1)、「Bitdefender」(#2和#19)、「Avast」(#8和#20)、「GData」Internet Security 2020(#9)、「AVG」(#10和#18)、「Bullguard」(#14)的表現較佳,不論在線或離線都獲4點或以上評分;另外,部分樣本於離線時表現較遜色而失分,「Panda」(#13)則表現最差,主要因為偵察Android和MacOS操作系統的惡意程式能力較低,以致跨平台傳送檔案存在風險,故不論在線或離線都只得2點或以下評分。於MacOS系統下測試的樣本中,以「AVG」AntiVirus for Mac(#31)、「Avast」(#29及#32)的表現較佳,在線及離線狀態同獲4.5點評分。
不少樣本於離線狀態的表現都較在線狀態遜色,反映樣本普遍採用雲端運算(cloud computing)技術,亦即依靠上網接駁至伺服器來運作,故為提高網絡安全,用戶日常進行檔案掃描時,都應確保電腦已連接上網。
開啟時偵察成功率高
網絡安全軟件進行檔案掃描時,主要依賴以往收錄的識別碼來辨認惡意程式,由於未知惡意程式(unknown malware)的識別碼並未被納入,故往往不能憑掃描偵察,不過,現時的網絡安全軟件普遍還能運用啟發式(heuristic)技術,根據惡意程式運行時不尋常行為的特徵,例如自我脫殼解碼後入侵及感染其他檔案等動作,來進行鑒定。測試發現,如果於檔案掃描時未被偵察出來的惡意程式,當該惡意程式開啟時被偵察到的機會都很高,全部樣本於惡意程式被開啟時偵察成功率都達99%或以上,全獲5點的高評分。
手動掃描誤判甚少
手動檔案掃描的測試也包含40,000個正常檔案,除了#4、#13、#15及#16於個別測試稍為失準,大部分樣本將正常檔案誤判為惡意程式的數量都不多於10個,表現理想而獲5點的高評分。
5款未能有效攔截網絡釣魚
測試包含800多個網絡釣魚(phishing)的網址,測試前先關上Chrome瀏覽器內置的網絡釣魚過濾器,以免影響偵察結果。
結果發現,Windows視窗及MacOS系統下測試的樣本,分別有17款及3款阻擋不良網絡釣魚網址的能力不錯,獲4點或以上評分。「Panda」(#13)、「Microsoft」(#23)及「Avira」Free Security Suite For Mac(#33)幾乎沒有替Chrome瀏覽器提供任何網絡釣魚防衞作用,都只獲1點的低評分,而「Bullguard」(#14)及「Malwarebytes」(#16)的平均攔截率僅為約43%及37%,表現平平,只獲2.5點評分,用戶必須於Chrome設定開啟網絡釣魚過濾器以防萬一。
1款的勒索程式防衞能力低
由於針對MacOS系統的勒索程式較少,因此MacOS系統下測試的樣本沒有進行此項測試計算。網絡防衞、USB裝置防衞及手動檔案掃描的測試分別已包含18個、8個及813個勒索程式(ransomware),測試時未被偵察的勒索程式會被打開執行,用以測試儲存於私人資料夾內的400個重要檔案最終被惡意加密了的數量。結果發現,20款樣本堵截勒索程式能力強大,完全沒有重要檔案被加密,獲5點的最高評分;「Bullguard」(#14)「Malwarebytes」(#16)都有重要檔案被加密的情況,分別獲4及4.5點評分。「Webroot」(#15)未能發揮防衞功能,大部分重要檔案都被惡意加密,只得2點的低評分。
資源佔用
評估樣本對電腦系統效能的影響,包括實時操作及存放常駐程式2部分。
實時操作
包括量度安裝樣本後對開機及關機時間、電腦基準(benchmarking)評分、進行日常操作的(包括各種檔案處理及瀏覽網站)速度的影響。
樣本間的評分頗接近,Windows視窗系統下測試的樣本分別獲3.5點至5點評分,MacOS樣本則獲4點至5點評分,反映安裝了網絡安全軟件對電腦實時操作影響不大。
存放常駐程式
測試量度安裝樣本所需的硬碟空間及軟件長期佔用的記憶體,各樣本佔用的硬碟空間差異頗大,分別獲2點至5點評分;除「Microsoft」(#23)為系統內置,不佔用額外空間外,#13及#15都表現優異,只佔用低於70MB記憶體,同獲5點的高評分。
使用方便程度
評分根據安裝及解除樣本的容易程度、功能導航/主控制中心的介面設計、使用說明的容易理解及詳細程度、防惡意程式功能的易用程度來評分。「Bitdefender」Internet Security(#2)使用上相對容易及方便,獲5點的較高整體評分,「Avast」(#29和#32)及「Avira」Free Security Suite For Mac(#33)因同時於主控制中心、幫助及支援項目失分較多,影響整體表現,僅獲3點評分。