Onko web scraping sallittua? Viisi tarkistusta ennen projektia
Päivitetty · Datastorm Oy
Web scraping -projektin voi aloittaa, kun oikeus kerätä ja käyttää tarvittavaa aineistoa on selvitetty. Julkinen verkkosivu ei yksin anna tähän lupaa. Käy läpi lähteen ehdot, aineiston oikeudet, henkilötiedot ja keruun tekniset rajat ennen tilausta.
Tämä tarkistuslista auttaa yritystä valmistelemaan web scraping -tilausta. Kirjaa tarvittavat lähteet, tietokentät, päivitystiheys ja käyttötarkoitus. Aineiston oikeuksia käsittelemme tarkemmin web scrapingin laillisuusoppaassa.
Huomio: Tämä opas ei ole juridista neuvontaa. Jos projekti on kriittinen tai epävarma, konsultoi lakimiestä.
1. Sallivatko lähteen ehdot suunnitellun käytön?
Monet verkkosivustot kieltävät automaattisen datan keruun käyttöehdoissaan. Esimerkiksi:
- "You may not use automated tools to access the site"
- "Scraping, crawling or data mining is prohibited"
Tarkista: Mitä palvelun ehdot, lisenssit tai rajapintasopimus sallivat? Älä päättele kirjautumisen puuttumisesta, etteivät ehdot koske keruuta. Sopimusehtojen merkitystä käsittelee myös EU-tuomioistuimen Ryanair-ratkaisu C-30/14.
Suositus: Lue aina käyttöehdot. Jos ne kieltävät scrapingin selvästi, harkitse API:n käyttöä tai kysy lupa sivuston omistajalta.
2. Mitä oikeuksia aineistoon liittyy?
Tekijänoikeus suojaa luovaa sisältöä: tekstejä, kuvia, videoita. Pelkkä fakta (esim. hintatiedot, osoitteet, avoimet tiedot) ei ole tekijänoikeuden suojaamaa, mutta kokoelman esitystapa voi olla.
Tarkista: Yksittäinen fakta ja koko tietokanta ovat eri asioita. Myös pienten tietomäärien toistuva keruu voi loukata tietokantasuojaa. Katso tietokantadirektiivin 7 artikla.
Suositus: Selvitä lupa tai soveltuva oikeusperuste ennen suojatun sisällön kopiointia. Oma esitystapa ei yksin poista lähdeaineistoon liittyviä oikeuksia.
3. Sisältääkö aineisto henkilötietoja?
Jos keräät henkilötietoja (nimet, sähköpostit, puhelinnumerot), GDPR:ää sovelletaan. Tämä tarkoittaa:
- Sinulla pitää olla laillinen peruste käsittelyyn (esim. oikeutettu etu)
- Henkilöillä on oikeus tietää, että heidän tietojaan kerätään
- Rekisteröidyn oikeudet ja niitä koskevat pyynnöt pitää pystyä käsittelemään
Tarkista: Myös työsähköposti voi olla henkilötieto. Oikeutettu etu edellyttää tapauskohtaista arviota; B2B-myynti ei automaattisesti oikeuta keruuta. Käytä tietosuojavaltuutetun arviointiohjetta.
Suositus: Älä kerää henkilötietoja ellei se ole välttämätöntä. Jos keräät, dokumentoi laillinen peruste ja varmista että voit noudattaa GDPR:n velvoitteita.
4. Mitä keruuohjeet ja pääsyn rajoitukset tarkoittavat?
Robots.txt antaa automaattisille asiakasohjelmille keruuohjeita. RFC 9309:n mukaan se ei ole pääsyn käyttövaltuutus. Salliva sääntö ei siis anna oikeutta käyttää aineistoa mihin tahansa.
Tarkista: Kunnioita palvelun keruurajoituksia ja selvitä sallittu toimitustapa, jos pääsy estetään. Vaihtoehto voi olla rajapinta tai erikseen lisensoitu aineisto.
Suositus: Tarkista robots.txt ja kunnioita sitä. Lue lisää robots.txt:stä tästä oppaasta.
5. Miten keruu toteutetaan kuormittamatta palvelua?
Vaikka scraping olisi muuten sallittua, liiallinen kuormitus voi johtaa ongelmiin. Jos lähetät tuhansia pyyntöjä sekunnissa, voit kaataa palvelimen tai aiheuttaa haittaa muille käyttäjille.
Suositus: Sovi tai tarkista palvelukohtaiset pyyntörajat, käytä välimuistia ja pysäytä keruu virhetilanteessa. Yhtä kaikille sivustoille sopivaa pyyntömäärää ei ole.
Mitä tilaajan pitää selvittää ennen aloitusta?
Varmista ennen tilausta, että:
- Keruun ja aiotun käytön oikeusperuste on selvitetty
- Aineiston oikeudet ja mahdollinen tietokantasuoja on arvioitu
- Mahdollisten henkilötietojen käsittely ja informointi on suunniteltu
- Palvelun keruuohjeet ja pääsyn rajoitukset on tarkistettu
- Pyyntörajat, seuranta ja pysäytyskäytäntö on sovittu
- Tietojen käyttötarkoitus ja mahdollinen edelleenluovutus on dokumentoitu
Web scraping on riskialttiimpaa, kun:
- ⚠️ Käyttöehdot kieltävät sen nimenomaisesti
- ⚠️ Kopioit luovaa sisältöä (artikkelit, kuvat) sellaisenaan
- ⚠️ Keräät henkilötietoja massalla ilman perustetta
- ⚠️ Ohitat kirjautumisen tai teknisiä estoja
- ⚠️ Kuormitat palvelinta liiallisesti
Katso myös
- Mitä robots.txt tarkoittaa – ja mitä se ei tarkoita
- API vai scraping – milloin kumpi kannattaa
- Miten web scraping -projekti etenee
- Web scraping -palvelu yrityksille
Tarvitsetko apua web scraping -projektissa?
Autamme suunnittelemaan ja toteuttamaan web scraping -projektin vastuullisesti ja käyttöehdot huomioiden. Kartoitetaan yhdessä lähteet, tietotarpeet ja lailliset huomiot.
Ota yhteyttä