Web scraping ja laillisuus: mitä dataa saa kerätä?
Päivitetty · Datastorm Oy
Web scrapingin sallittavuus ratkaistaan kerättävän tiedon, lähteen ehtojen ja käyttötarkoituksen perusteella. Julkinen saatavuus ei yksin anna oikeutta kerätä tai käyttää aineistoa. Ennen toteutusta tarkistetaan henkilötiedot, tekijänoikeudet, tietokantasuoja ja palvelun käyttöehdot.
Onko web scraping laillista?
Web scraping on tiedonkeruun menetelmä, jonka sallittavuus riippuu toteutuksesta. Ennen keruuta on selvitettävä ainakin seuraavat asiat:
- Henkilötietojen kerääminen (GDPR)
- Tekijänoikeudella suojattu sisältö
- Tietokantasuoja (EU:n sui generis -oikeus)
- Sopimusrikkomukset (käyttöehdot)
- Palvelun häirintä (DoS)
Milloin GDPR koskee tiedonkeruuta?
GDPR koskee kaikkia henkilötietoja – myös julkisesti saatavilla olevia.
Mitä henkilötiedot ovat?
- Nimet
- Sähköpostiosoitteet
- Puhelinnumerot
- IP-osoitteet
- Kuvat joista henkilö tunnistettavissa
- LinkedIn-profiilit, sosiaalisen median tilit
Milloin henkilötietoja saa kerätä?
Tarvitset laillisen perusteen:
- Suostumus: Henkilö on antanut luvan
- Oikeutettu etu: Sinulla on perusteltu tarve, joka ei ylitä henkilön oikeuksia
- Sopimus: Käsittely on tarpeen sopimuksen täyttämiseksi
Yritystä koskeva tieto voi olla myös henkilötieto, jos se liittyy tunnistettavaan henkilöön. Oikeutettu etu ei ole automaattinen lupa keruuseen: arvioi tarve, välttämättömyys ja vaikutukset henkilöön. Katso tietosuojavaltuutetun ohje oikeutetusta edusta.
Miten tekijänoikeudet vaikuttavat keruuseen?
Sisältö voi olla tekijänoikeudella suojattua:
- Tekstit: Artikkelit, uutiset, blogit
- Kuvat: Valokuvat, grafiikat
- Videot: Suoratoistopalvelut
Yksittäinen fakta ei sellaisenaan ole tekijänoikeuden suojaama teos. Se ei kuitenkaan ratkaise aineiston keruun sallittavuutta: tietokantasuoja, henkilötiedot ja käyttöehdot arvioidaan erikseen.
Suojatun tekstin, kuvan tai videon kopiointi ja julkaiseminen tarvitsee oikeusperusteen, kuten luvan tai soveltuvan lain poikkeuksen.
Voiko tietokantasuoja rajoittaa julkisten tietojen keruuta?
EU:ssa tietokannat voivat olla suojattuja, jos niiden kokoaminen on vaatinut merkittävää investointia.
- Suojattu: Koko tietokannan tai olennaisen osan kopiointi
- Myös pienten osien toistuva ja järjestelmällinen keruu voi loukata suojaa. Katso tietokantadirektiivin 7 artikla.
Voiko käyttöehdot sivuuttaa ilman kirjautumista?
Käyttöehtojen merkitys pitää arvioida erikseen. Kirjautumisen puuttumisesta ei voi päätellä, ettei ehtoja sovelleta:
- Tarkista palvelun ehdot, lisenssit ja mahdollinen rajapinnan käyttösopimus.
- Selvitä, miten sopimus syntyy ja mitä suunniteltu käyttö edellyttää.
EU-tuomioistuimen Ryanair-ratkaisu C-30/14 osoittaa, että sopimusehdoilla voi olla merkitystä myös silloin, kun tietokanta ei saa direktiivin mukaista suojaa. Epäselvä käyttöoikeus selvitetään ennen toteutusta.
Antaako robots.txt luvan käyttää aineistoa?
Robots.txt ohjaa automaattisia asiakasohjelmia. RFC 9309 määrittelee, ettei protokolla ole pääsyn käyttövaltuutus. Tiedoston salliva sääntö ei siis ratkaise datan käyttöoikeuksia.
- Tarkista keruuohjeiden lisäksi ehdot, lisenssit ja aineistoon liittyvät oikeudet.
- Kunnioita palvelun ilmoittamia keruurajoituksia.
- Jos pääsy estetään, selvitä sallittu tapa saada aineisto.
Katso robots.txt -opas.
Hyvät käytännöt
- ☐ Varmista oikeus kerätä ja käyttää valittua aineistoa
- ☐ Vältä henkilötietoja tai varmista laillinen peruste
- ☐ Käytä kirjautumista tai rajapintaa vain sovitun käyttöoikeuden mukaisesti
- ☐ Noudata robots.txt:ää
- ☐ Rajoita pyyntöjen nopeutta (älä kuormita palvelinta)
- ☐ Älä kopioi ja julkaise suojattua sisältöä
- ☐ Dokumentoi mitä keräät ja miksi
Mitä eri aineistoista on tarkistettava?
| Tilanne | Arvio |
|---|---|
| Kilpailijoiden julkiset hinnat | Tarkista käyttöehdot, tietokantasuoja ja mahdolliset henkilötiedot |
| Yritysten yhteystiedot yritysrekisteristä | Tarkista käyttöehdot, tietokantasuoja ja mahdolliset henkilötiedot |
| LinkedIn-profiilit myyntitarkoituksiin | ⚠️ Riskialtista (GDPR + käyttöehdot) |
| Uutisartikkelien kopiointi ja julkaisu | Selvitä lupa tai soveltuva lain poikkeus ennen kopiointia ja julkaisua |
| Kirjautumisen takana oleva data | Varmista nimenomainen käyttöoikeus ja sopimusehdot |
| Tuotteiden tekniset tiedot valmistajan sivulta | Tarkista käyttöehdot, tietokantasuoja ja mahdolliset henkilötiedot |
Usein kysytyt kysymykset
Voiko scrapingista joutua oikeuteen?
Kyllä. Luvaton keruu tai käyttö voi johtaa vaatimuksiin ja seuraamuksiin. Yrityksen pieni koko ei poista velvoitteita. Epäselvässä hankkeessa oikeudellinen arvio kannattaa tehdä ennen keruuta.
Entä jos sivusto estää?
Keskeytä keruu ja selvitä syy sekä sallittu käyttötapa. Vaihtoehto voi olla palveluntarjoajan rajapinta, aineistolisenssi tai erikseen sovittu tiedonsiirto.
Pitääkö pyytää lupa?
Luvan tarve riippuu aineistosta, oikeuksista, ehdoista ja käyttötarkoituksesta. Julkinen saatavuus ei yksin ratkaise asiaa. Selvitä lisenssi tai kysy palveluntarjoajalta, jos käyttöoikeus on epäselvä.
Lue myös
- Mitä robots.txt tarkoittaa?
- API vai scraping?
- Scraping-projektin tilaaminen
- Web scraping palveluna →
Tarvitsetko apua datan keräämisessä?
Kerro tarvittavat tiedot, lähteet ja käyttötarkoitus. Arvioimme toteutustavan ja selvitettävät käyttöoikeudet ennen työn aloittamista.
Kysy lisää