Google Safe Browsing

Waarschuwing voor een aanvalspagina in Mozilla Firefox 18

Google Safe Browsing (in het Nederlands vertaald: Google Veilig Surfen) is een dienst van Google die lijsten aanbiedt met webpagina's die phishing of malware bevatten. Deze lijsten worden onder andere door de webbrowsers Google Chrome, Mozilla Firefox en Apple Safari aangewend om gebruikers te waarschuwen voor frauduleuze en schadelijke webinhoud. Ook worden gegevens van deze dienst gebruikt om rechtstreeks te waarschuwen voor onveilige websites in de zoekresultaten van Google. Verder biedt Google een publiek toegankelijke API voor deze dienst aan, die door andere programma's of diensten gratis gebruikt kan worden om de veiligheid van websites te controleren.

Geschiedenis

2005: Begin

Eind 2005 begon Google met de Safe Browsingdienst door een extensie voor Firefox (met toen versie 1.5 als recentste versie) beschikbaar te stellen. Deze extensie waarschuwde gebruikers als zij een phishingpagina bezochten.

2006: API en Google Webmaster Tools

Begin 2006 begon Google met waarschuwingen in de zoekresultaten van Google te tonen en hun lijsten van gevaarlijke websites te publiceren via de Google Safe Browsing API voor toepassingen zoals Firefox, Google Desktop en Google Toolbar. Firefox maakt vanaf versie 2 standaard gebruik van deze lijsten om zijn gebruikers tegen phishing te beschermen. Vanaf versie 3 gebruikt Firefox ook de malwarelijst om zijn gebruikers tegen schadelijke software te beschermen. In november introduceerde Google de malwarewaarschuwingen ook in Google Webmaster Tools zodat sitebeheerders verwittigd kunnen worden als hun website besmet is.

2007: Verbeterde Google Webmaster Tools en publiekelijke API

In maart 2007 had MySpace te maken met een grootschalige phishingaanval: volgens Google had 95 % van alle nieuwe phishingpagina's MySpace als doel. De phishingaanval maakte niet alleen gebruik van frauduleuze e-mails en webpagina's, maar gebruikte ook gehackte MySpaceprofielen om andere gebruikers in de val te lokken. Google hielp MySpace de aanval te bestrijden door hun phishinglijst ter beschikking van MySpace te stellen. Verder deed Google onderzoek naar de aanwezigheid en geografische verspreiding van malware op het internet. Dit onderzoek schatte dat ongeveer 0,1 % van alle webpagina's op het internet malware verspreidde en dat de meeste malware gehost werd in China, de Verenigde Staten, Duitsland en Rusland.

Ook verbeterde Google de malwarewaarschuwingen in Google Webmaster Tools en voegde het een mogelijkheid tot beroep toe voor websites die opgeschoond zijn na infectie. Tevens maakte Google op 18 juni 2007 hun Google Safe Browsing API publiekelijk beschikbaar.

2008: Optimaliseringen en nieuwe browsers

Vanaf 6 januari 2008 werd domeincompressie toegepast op de phishinglijst om het aantal afzonderlijke hosts op een uniek domein te vereenvoudigen tot dat specifieke domein, waardoor de omvang van de phishinglijst werd teruggebracht naar ongeveer 1/16 van de oorspronkelijke omvang (van 206 000 naar 13 000 URL's). Vanaf 17 februari 2008 begon Google ook met gedetecteerde malwarepagina's automatisch opnieuw te scannen om te kijken of ze op de lijst moeten blijven. Hierdoor was de omvang van de malwarelijst rond mei 2008 gehalveerd (van 225 000 naar 110 000 URL's) en was de gemiddelde duur dat een URL op de lijst stond gereduceerd van 90 tot 15 à 20 dagen.

In mei 2008 lanceerde Google verder de diagnostische pagina van Google Safe Browsing voor malwaresites om inzage te geven in de detectie. Via de waarschuwingspagina van Firefox en die van Googles zoekresultaten wordt naar deze diagnostische pagina gelinkt. Tevens werd in juni een paper gepubliceerd die uitlegt hoe Googles detectiesysteem voor malware en hoe de verspreiding van malware in het algemeen werkt. De paper stelde onder andere dat het aantal pagina's in Googles zoekresultaten met gevaarlijke URL's stijgde, dat gemiddeld 2 % van alle schadelijke webpagina's malware verspreidde via advertenties en dat de meeste malware van Chinese webservers kwam.

Sinds 2 september 2008 wordt de Safe Browsingdienst ook gebruikt door de (destijds nieuwe) browser Google Chrome van Google. Sinds 13 november 2008 gebruikt Safari (met de toen nieuwe versie 3.2) ook de Safe Browsingdienst.

2009: Malwarecampagnes en Malwaredetails

In de lente en zomer van 2009 infecteerden de malwarecampagnes Gumblar en Martuz meer dan 330 000 sites, die worden toegevoegd aan de Safe Browsinglijst. Google gaf ook statistieken vrij die aangaven dat in de afgelopen 12 maanden de hoeveelheid gevaarlijke URL's in de Safe Browsinglijst verdubbeld was (onder andere door deze malwarecampagnes), maar dat het aantal pagina's in Googles zoekresultaten met malwarewaarschuwingen wel afnam. Verder begint de stijging in het herinfectiepercentage ook af te nemen nadat Google in oktober de functie 'Malwaredetails' lanceert in Google Webmastertools, waarmee (een deel van) de exacte infectie wordt beschreven die door de scanners van Safe Browsing wordt gedetecteerd.

2010: Autonome systemen

In het voorjaar van 2010 publiceerde Google een paper die uitlegt hoe Googles phishingdetectie werkt. Googles detectiesysteem voor phishing maakt gebruik van zelflerende algoritmes die getraind worden met eerder gedetecteerde phishingpagina's, zodanig dat na enkele weken training deze algoritmes ongeveer 90 % van alle phishingpagina's correct identificeren, met maar één fout-positief per 10 000 webpagina's. Deze algoritmes kijken onder andere naar de URL, de paginaopbouw, specifieke woorden, eventuele hyperlinks, de PageRank en de hostgegevens.

In september 2010 introduceerde Google waarschuwingen voor de beheerders van autonome systemen over malware die op hun netwerken werd gevonden. In oktober werden deze waarschuwingen uitgebreid naar phishing-URL's. Netwerkbeheerders kunnen deze waarschuwingen ontvangen via e-mails in platte tekst of in XML-formaat.

In 2010 introduceerde Google ook versie 2 van de Safe Browsing API. Deze versie voorziet in efficiëntere updates voor de clients en verbruikt minder bandbreedte.

2011: Downloadbescherming en Client Side Phishing Detection

In mei 2011 kreeg Google de prijs voor 'beste veiligheidsinitiatief' van AusCERT voor de malwarewaarschuwingen die het naar de beheerders van autonome systemen stuurt. AusCERT is een Australisch Computer Emergency Response Team gevestigd bij de Universiteit van Queensland.

In juni 2011 werd versie 12 van Chrome uitgebracht. Safe Browsing biedt in Chrome vanaf deze versie extra downloadbescherming: Chrome controleert of de download-URL van uitvoerbare bestanden die de gebruiker downloadt op de malwarelijst voorkomt en waarschuwt de gebruiker als dat het geval is. In mei werd ook de nieuwe Lookup API voorgesteld als alternatief voor de gewone API versie 2. De Lookup API is bedoeld voor toepassingen die minder dan 100 000 URL's per dag controleren. Anders dan bij de gewone API stuurt de Lookup API elke URL naar Google om hun huidige veiligheidsstatus te controleren. Sinds 1 december 2011 werden de lijsten van de Safe Browsing API versie 1 niet meer bijgewerkt en sinds 1 januari 2012 is de ondersteuning voor versie 1 volledig stopgezet.

Verder bracht Google in juli 2011 een rapport uit over de technieken die door malware gebruikt worden om detectie te vermijden. Voor dit rapport werden 4 jaren aan gegevens en 160 miljoen webpagina's op ongeveer 8 miljoen websites geanalyseerd. Het rapport stelde dat malware die van social engineering gebruikmaakte in opmars was (maar nog steeds slechts 2 % van het totaal aan malware vertegenwoordigde), dat gebruikte exploits vaak snel veranderden en dat malwareverspreiders steeds meer gebruikmaakten van cloaking om scanners om de tuin te leiden.

Ook werd in oktober 2011 versie 15 van Chrome wordt uitgebracht. In deze versie werd het detectiealgoritme Client Side Phishing Detection gelanceerd, dat webpagina's met behulp van heuristische modellen analyseert op mogelijke phishinginhoud en mogelijke phishingpagina's naar Google verzendt voor verdere analyse. Als gevolg verdubbelde het aantal weergegeven phishingwaarschuwingen voor gebruikers. Tevens werden de waarschuwingen voor netwerkbeheerders in december uitgebreid om ook informatie door te geven over kwaadaardige domeinen die malware distribueren via andere gecompromitteerde websites.

2012: Verbeteringen en statistieken

Sinds 29 januari 2012 is Google begonnen met het verwijderen van inactieve domeinen van de malwarelijst. Meer dan 130 000 verouderde domeinen werden zo van de lijst verwijderd. Wel steeg in die tijd de gemiddelde periode dat sites op de malwarelijst van Safe Browsing staan van 20 naar 30 dagen. De exacte oorzaak was niet duidelijk voor Google, maar men vermoedde dat een steeds groter aantal geavanceerde exploitkits het websitebeheerders steeds moeilijker maakte malware te identificeren en te verwijderen.

In februari 2012 werd versie 17 van Chrome uitgebracht die onder andere de downloadbescherming door Safe Browsing verbeterde door te kijken of uitvoerbare bestanden die gedownload worden op een lijst van betrouwbare bestanden en softwareontwikkelaars voorkomen. Indien dat niet het geval is, stuurt Chrome metadata over de download naar Google, waar de download automatisch geclassificeerd wordt aan de hand van zelflerende algoritmes en de reputatie van andere bestanden van dezelfde website en softwareontwikkelaar. De resultaten worden vervolgens terug naar Chrome gestuurd, die de gebruiker waarschuwt als het bestand waarschijnlijk gevaarlijk is.

In het voorjaar van 2012 begon Google ook met het periodiek opnieuw scannen van geïnfecteerde sites, waardoor het herinfectiepercentage aanzienlijk steeg voor besmette websites. Voorheen werden deze sites niet automatisch verwijderd uit de lijst van Safe Browsing.

In juni 2012 gaf Google nogmaals statistieken vrij over zijn Safe Browsingdienst. Toen...

• beschermden ze met Safe Browsing ongeveer 600 miljoen gebruikers van Chrome, Firefox en Safari;
• ontdekten ze dagelijks ongeveer 9 500 nieuwe gevaarlijke websites;
• toonden 12 à 14 miljoen zoekopdrachten dagelijks een waarschuwing;
• veroorzaakten ongeveer 300 000 downloads in Chrome een waarschuwing;
• stuurden ze dagelijks duizenden waarschuwingen naar netwerk- en websitebeheerders.

Verder stelden ze ook een aantal evoluties vast in de gevaren die internetgebruikers konden tegenkomen. Zo...

• bleven phishing-URL's steeds minder lang actief (vaak minder dan een uur) om detectie te vermijden;
• was spear phishing (doelgerichte phishingcampagnes) in opmars;
• was phishing een globaal fenomeen geworden;
• werden steeds meer vervalste websites gebruikt om gebruikers onbewust malware te doen downloaden door social engineering;
• werden steeds meer 'aanvalswebsites' (websites die gecreëerd worden met het doel malware te verspreiden via exploits) gebruikt die speciale technieken, zoals het snel veranderen van hostingdienst, het gebruikmaken van dynamisch DNS en het automatisch genereren van nieuwe domeinnamen, aanwendden om detectie te voorkomen.

In de zomer van 2012 infecteerde een grote malwarecampagne meer dan 106 000 websites, waardoor mensen werden omgeleid naar sites met de Blackhole-exploitkit. Als gevolg ontvingen meer dan 90 miljoen gebruikers malwarewaarschuwingen per week en werden er wekelijks ook meer dan 330 miljoen waarschuwingen op Google Zoeken gegenereerd. Het aantal sites op de malwarelijst steeg naar 350 000.

In september verwijderde Google verder een van de phishingfeeds van derden die gegevens leverde aan Safe Browsing wegens te veel fout-positieven.

2013: Help voor webmasters en Transparantierapport

In maart 2013 lanceerde Google de Help voor webmasters met gehackte sites. Hier kunnen website-eigenaars hulp vinden om phishing- en malwareproblemen met hun websites op te lossen. Een eerder onderzoek uit februari 2012 door de non-profitorganisatie StopBadware en het internetbeveiligingsbedrijf Commtouch stelde dat ongeveer een kwart van alle gehackte websites besmet blijft. Door de extra ondersteuning voor website-eigenaars poogde Google dit cijfer te doen dalen.

In april 2013 begon Google met het classificeren van extensies voor Chrome die zich niet aan de richtlijnen houden van Google (zoals extensies die zonder medeweten van de gebruiker worden geïnstalleerd) als malware; zodat deze eveneens door Safe Browsing zouden geblokkeerd worden. In april was er ook een malwarecampagne met de Red Kit exploitkit die het aantal gebruikers dat malwarewaarschuwingen ontving met 32 miljoen verhoogde.

In juni lanceerde Google het Transparantierapport voor Safe Browsing, waarin het onder andere weergeeft hoeveel waarschuwingen gebruikers wekelijks zien, wat de geografische locatie van malwarehosts is en wat de herinfectiepercentages zijn. Het Transparantierapport van Google geeft informatie over, naast Safe Browsing, de versleuteling die Google gebruikt, Googles internettrafiek en overheidsverzoeken om gegevens die Google ontvangt. In juni was er ook een campagne die doelde op kwetsbaarheden in Java en Acrobat Reader die meer dan 7 500 sites besmette. Als gevolg hiervan ontvingen meer dan 28,6 miljoen Safe Browsing API gebruikers malwarewaarschuwingen op één week.

2014: verbeterde downloadbescherming

In januari 2014 werd de downloadbescherming van Chrome restrictiever gemaakt in versie 32; het werd niet meer mogelijk waarschuwingen voor schadelijke downloads onmiddellijk te negeren. Wel kan men de waarschuwing omzeilen via de downloadbeheerder van Chrome. Ook werd de Safe Browsingbescherming in Chrome in augustus 2014 uitgebreid naar ongewenste software die bijvoorbeeld de startpagina van Chrome ongevraagd wijzigt. Verder werden in de zomer van 2014 ook de waarschuwingspagina's van Chrome aangepast na een onderzoek naar de effectiviteit van malwarewaarschuwingen door Google en de Carnegie Mellon University. Toentertijd klikte gemiddeld 1/5 van de gebruikers van Chrome malwarewaarschuwingen weg.

Werking

Scanner

Google komt hoofdzakelijk op twee manieren aan onveilige hyperlinks en webpagina's om aan de Safe Browsing-lijsten toe te voegen:

• De eerste manier is via Googles webindex. Google classificeert voortdurend nieuwe (en gewijzigde) webpagina's voor zijn diensten door middel van algoritmes en automatische bots. Het komt voornamelijk aan de links naar deze pagina's via vermeldingen en links op andere websites. De hyperlinks naar deze webpagina's worden opgeslagen in Googles webindex, waar ze door Googles diensten zoals zijn zoekmachine gebruikt kunnen worden. Gedeelten van deze webindex worden dagelijks door de Safe Browsing-scanners doorzocht.
• Ten tweede bevat Googles browser, Google Chrome, ook functionaliteiten zoals het Client Side Phishing-algoritme die de webpagina's die de gebruiker bezoekt in realtime analyseren. Indien een bezochte webpagina als verdacht wordt beschouwd, worden de URL en enkele andere gegevens ervan naar de Safe Browsing-scanners verzonden voor verdere analyse.
• Ten derde verkrijgt Google ook gegevens via feeds van derde partijen. Google geeft aan dat ze strenge normen hanteert voor deze feeds.
• Het is ook mogelijk om zelf een webpagina als gevaarlijk te rapporteren aan Google via een webformulier (zie externe link).

De webpagina's worden door de Safe Browsing-scanners getest met een virtuele computer om na te gaan of de computer wordt geïnfecteerd met malware. Statistische modellen worden gebruikt om phishingsites te identificeren. Wanneer de Safe Browsing-scanners een webpagina als schadelijk of frauduleus classificeren, wordt deze aan de zwarte lijst van de Safe Browsing-dienst toegevoegd en wordt de website-eigenaar automatisch verwittigd indien deze zich aangemeld heeft bij de Google Webmaster Tools. Indien dit niet het geval is, probeert Google automatisch contact op te nemen via e-mailadressen zoals "administratorexample.com" (met example.com het domein van de betreffende website). Ook verwittigt Google de beheerders van AS-netwerken van eventuele malware die op hun netwerken werd aangetroffen.

Downloadbescherming

Schadelijke download: waarschuwing in Google Chrome

Safe Browsing biedt in Chrome sinds versie 12 (uitgebracht in juni 2011) extra beveiliging bij het downloaden van bestanden, deze worden dan gecontroleerd op eventuele malware. Deze techniek wordt CAMP (Content-Agnostic Malware Protection) genoemd. Hiervoor gebruikt Chrome de malwarelijst van de Safe Browsing-dienst. Wanneer de URL van een download voorkomt op de lijst van gerapporteerde onveilige URL's, wordt deze download geblokkeerd en wordt er een waarschuwing weergegeven. Google houdt ook een lijst bij van vaak gedownloade en betrouwbare programma's. Voor programma's op deze lijst worden geen beveiligingswaarschuwingen weergegeven. Wanneer een download niet voorkomt op de lijst van schadelijke bestanden/links, maar ook niet op de lijst van gekende goede bestanden/links, wordt de download ook geblokkeerd en wordt er een waarschuwing weergegeven dat het bestand niet vaak gedownload wordt en mogelijk schadelijk is. Ook andere gegevens, zoals eventuele beveiligingscertificaten en de bestandshash worden mee in overweging genomen. Sinds versie 32 van Chrome (uitgebracht in januari 2014) heeft de gebruiker geen mogelijkheid meer om een downloadwaarschuwing te negeren (behalve via de downloadbeheerder). De functie voor downloadbescherming is niet in Safari en Firefox aanwezig.

Diagnosepagina

Indien men een webpagina handmatig wil controleren aan de hand van Googles malwaredatabase, kan men dit doen door "http://www.google.com/safebrowsing/diagnostic?site=" in de adresbalk van de browser en de URL van de te controleren webpagina achter het gelijkheidsteken te plakken. Men wordt dan naar de diagnosepagina van Google voor die site geleid met verdere details over eventuele aangetroffen bedreigingen. Website-eigenaren die zich aangemeld hebben bij Google Webmaster Tools kunnen via hun Dashboard meer details verkrijgen, waaronder de exacte URL('s) van aangetroffen bedreigingen.

Google maakt voor deze diagnosepagina's een onderscheid tussen geïnfecteerde sites en aanvallende sites:

• Websites zijn geïnfecteerd wanneer ze schadelijke inhoud verspreiden die niet van de site zelf afkomstig is. Dit kan bijvoorbeeld gebeuren wanneer de websites advertenties van een advertentienetwerk toont. Zo kan er een kwaadaardige advertentie op het advertentienetwerk terechtkomen zodat deze door de website getoond wordt. Ook kan een website gehackt worden, waarbij de cybercrimineel schadelijke code aan de website kan toevoegen.
• Aanvallende sites zijn websites die doelbewust malware hosten. Dit type websites wordt meestal gemaakt door cybercriminelen.

Privacy

Google geeft aan dat ze via de bescherming van Safe Browsing in webbrowsers niet te weten kan komen welke webpagina's de gebruiker zoal bezocht heeft.

Cijfers

• Volgens Google gebruikten in juni 2012 ongeveer 600 miljoen internetgebruikers de Google Safe Browsing-dienst (direct of indirect).
• Ook zegt Google dat er rond deze periode ongeveer 9500 kwaadaardige websites per dag werden ontdekt.
• Testen uitgevoerd door NSS Labs in oktober en november 2012 wijzen uit dat Google Safe Browsing toen ongeveer 92% van alle phishingsites en 70% van alle kwaadaardige downloads wist te blokkeren.

Google publiceert regelmatig actuele cijfers rond Safe Browsing in zijn Transparantierapport (zie externe link).

Vergelijkbare functies

Vergelijkbare beschermingsdiensten zijn onder andere het SmartScreen-filter van Microsoft dat in Internet Explorer (vanaf versie 8) en Windows 8 gebruikt wordt om onveilige websites en downloads te blokkeren, Norton Safe Web van Symantec en McAfee SiteAdvisor van McAfee.

Zie ook

• Antivirussoftware
• Computerbeveiliging

Externe links

Voorbeelden van waarschuwingen

• Testpagina voor malware (Google Chrome)
• Testpagina voor phishing (Google Chrome)
• Testpagina voor malware (Mozilla Firefox)
• Testpagina voor phishing (Mozilla Firefox)
• Testpagina voor ongewenste software (Mozilla Firefox)
• Voorbeeld van een websiterapport van Safe Browsing (voor www.example.com)

Rapporteringsformulieren van Google

• Rapporteringsformulier voor malware van Google
• Rapporteringsformulier voor phishing van Google

Verdere informatie van Google

• Google Veiligheidscentrum
• Google Hulp voor webmasters van gehackte sites
• Google Online Veiligheidsblog
• Google Safe Browsing Transparantierapport
• Privacyverklaring van Google met betrekking tot Safe Browsing
• Beleid van Google inzake ongewenste software

Bronnen, noten en/of referenties