Hyppää sisältöön

Significant changes to Puhti & Mahti authentication coming in April! Read about the SSH key and multi-factor authentication requirements.

Paikkatiedot CSC:n laskentaympäristössä

Paikkatiedot Puhtissa

Puhtissa on seuraavat aineistot:

  • Paituli-aineistot. Paituli kattaa aineistoja Väestörekisterikeskukselta, Ruokavirastolta, Ilmatieteen laitokselta, Väylävirastolta, Kotimaisten kielten keskukselta, Karelia-ammattikorkeakoululta, Maanmittauslaitokselta, Luonnonvarakeskukselta, Tilastokeskukselta ja Helsingin yliopistolta. Viikoittaiset päivitykset.
    • Lista kaikista Paituli-aineistoista
    • Kaikilla Paituli-aineistoilla on readme-tiedosto, joka sisältää linkin Etsin-aineistokuvauksiin ja käyttöehtoihin.
    • Jos on vaikeuksia löytää jotain tiedostoa, voit käyttää Paitulin lataussivua apuna. Voit nähdä aineiston polun linkin alla (rajata alusta) tai ladata tiedostojen listan "Download list of files" -linkistä, jos aineistolla on paljon karttalehtiä.
    • Maanmittauslaitoksen normaalit värilliset orto-kuvat eivät ole saatavilla Puhtissa, mutta infrapunakuvat ovat.
    • Lisäykset Maanmittauslaitoksen aineistoihin:
      • 2m ja 10m DEM ja infrapuna-ortokuvat ovat saatavilla virtuaalirastereina, katso alla Puhti-virtuaalirastereista.
      • Stereoluokiteltu lidar-data on hieman muokattu. Alkuperäisessä Maanmittauslaitoksen datassa oli virheitä otsikoissa, jotka on korjattu. Lisäksi lax-indeksitiedostot on lisätty.
      • Automaattisesti luokiteltu lidar-data, vain vuoden 2019 data
    • Helpoin tapa löytää Paitulin rasteridataa on Paituli STAC, joka sisältää myös linkit Puhtin paikallisiin tiedostoihin.
  • LUKE, monilähteinen metsien inventointi, 2013, 2015, 2017, 2019 ja 2021. LUKEn lisenssi muuttui elokuussa 2019, lisenssiksi tuli CC BY 4.0.
  • SYKE, kaikki avoimet paikkatietoaineistot saatavilla SYKEn avointen tietojen palvelusta. Viikoittaiset päivitykset.
  • Verkkojen yhteys, CC BY 4.0 -lisenssi, päivitetty 8/2023
  • SYKEn ja FMI:n tuottamat Landsat-mosaiikit Paikkatietoalusta-hankkeessa

Maanmittauslaitoksen 2m DEM, lidar, infrapuna-ortokuvat ja kaikki SYKE-aineistot päivitetään Puhtissa automaattisesti joka maanantai.

Avoimet paikkatiedot tallennetaan Puhtissa: /appl/data/geo

Pääsy tietoihin Puhtissa vaatii CSC-käyttäjätilin ja projektin, jossa on Puhti-palvelu aktivoitu. Kaikilla Puhti-käyttäjillä on luku-oikeus näihin aineistoihin. Tiedostoja ei tarvitse siirtää: niitä voidaan käyttää suoraan, ellei niitä tarvitse muokata, mikä vaatii oman kopion luomisen. Puhtin avoimet paikkatiedot ylläpitää CSC:n henkilökunta. Jos huomaat ongelmia tiedoissa tai haluat uuden aineiston, ota yhteyttä CSC Servicedeskiin.

SYKEn ja FMI:n Paikkatietoalusta-hankkeessa tuottamat Sentinel-satelliittimosaiikit poistettiin Puhtista 21.11.2023

Poistetut aineistot olivat: Sentinel1 SAR -mosaiikit, Sentinel2 -indeksimosaiikit. Ne ovat saatavilla FMI:n omasta objektivarastosta, jossa on enemmän dataa kuin mitä oli tallennettu Puhtin paikallislevyille. Helpoin tapa löytää PTA Sentinel -mosaiikit FMI:stä on Paituli STAC. Paituli STAC -sivustoon sisältyy myös esimerkkejä käytöstä R:llä ja Pythonilla.

Paikkatiedot Allaksessa

CSC:n laskentapalveluiden käyttäjät ovat tervetulleita jakamaan paikkatietoa Allas-palvelussa muiden käyttäjien kanssa, jos datan lisenssiehdot sallivat sen. Tämä on yhteisöpalvelu, mikä tarkoittaa, että mikä tahansa CSC:n käyttäjä saa vapaasti osallistua ja lisätä tietoa Allakseen. Allaksen datakoreja omistavat datayhteistyökumppanit. Jos haluat jakaa Allaksessa olevaa aineistoasi, ja haluat sen lisättävän tälle sivulle, ota yhteyttä CSC Servicedeskiin.

Tällä hetkellä saatavissa:

  1. Sentinel2 2A-tason kuvat. Maria Yli-Heikkilä (LUKE) ja Arttu Kivimäki (NLS/FGI) ovat ladanneet suomalaisia tietoja kasvukaudelta (n. 10.5.-1.9.) vuodesta 2016 alkaen. Helpoin tapa löytää Allakseen tallennettu Sentinel-data on Paituli STAC. Nämä tiedostot ovat julkisia, joten kuka tahansa voi ladata ne omalta tietokoneelta tai muista palveluista.

Allaksen datan käyttöön, katso CSC-webinaari Allaksesta ja paikkatiedoista ja Pilvitiedostojen suora käyttö, mukaan lukien Allas-opetus.

Puhti-virtuaalirasterit

Virtuaalirasterit ovat erittäin käytännöllinen konsepti isompien rasteriaineistojen käsittelyssä, katso CSC:n Virtuaalirasterit -sivu pidempään selitykseen ja kuinka luoda omia virtuaalirastereita, mukaan lukien STAC-haun tuloksista.

Maanmittauslaitoksen DEM ja ortokuvat valmiit virtuaalirasterit

CSC on lisännyt Maanmittauslaitoksen 2m ja 10m korkeusmallit ja infrapuna-ortokuvat Puhtiin. Korkeusmalleille on kaksi erilaista virtuaalirasteriversiota:

  1. Suorat virtuaalirasterit sisältävät suoraan lähdetif-kvat ilman hierarkkista rakennetta, yleistyksiä tai ennalta laskettuja tilastoja. Suora virtuaalirasteri on tarkoitettu käytettäväksi vain skripteissä. Sitä ei pitäisi avata QGIS-ohjelmassa, ellei suoraan zoomata sisään ja tarvitse avata vain muutamia tiedostoja jne:

    • 2m DEM: /appl/data/geo/mml/dem2m/dem2m_direct.vrt
    • 10m DEM: /appl/data/geo/mml/dem10m/dem10m_direct.vrt
    • infrapuna-ortokuvat: /appl/data/geo/mml/orto/infrared_3067/infrared_euref_direct.vrt

  2. Hierarkkinen virtuaalirasteri on ensisijaisesti katselutarkoituksiin esimerkiksi QGIS-ohjelmalla. Siinä on hierarkkinen rakenne, jossa jokaisessa kansiossa oleva virtuaalirasteri sisältää kyseiseen kansioon ja sen alikansioihin tallennetut tiedot. Hierarkkinen tiedostorakenne sisältää myös tilastotiedot (min, max, mean, stddev) ja tiivistelmät jokaiselle vrt-tiedostolle, mikä mahdollistaa varsin responsiivisen koko DEM-aineiston katselun esimerkiksi QGIS-ohjelmassa. Näin koko aineisto voidaan helposti nähdä eri zoomaustasoilla. Voit käyttää alinta tason virtuaalirasteria (esim. M41 2m DEM:ssä) myös skripteissä, mutta korkeamman tason virtuaalirasterit voivat aiheuttaa laskentavirheitä.

    • 2m DEM: /appl/data/geo/mml/dem2m/dem2m_hierarchical.vrt

Puhti: luo virtuaalirasterit DEM:stä valitulle alueelle

Joissakin tapauksissa voi olla hyödyllistä luoda virtuaalirastereita, jotka kattavat vain oman tutkimusalueesi tai sen osan. CSC on tehnyt Python-skriptin virtuaalirasterien luomiseksi valitulle alueelle Maanmittauslaitoksen 2m ja 10m DEM-aineistoista Puhtissa. Sitä käytetään seuraavasti:

module load geoconda
python /appl/soft/geo/vrt/vrt_creator.py dataset polygon_file output_directory

Tuetut dataset-arvot ovat: dem2m, dem10m ja demCombined. Viimeinen vaihtoehto valitsee 2m DEM:in milloin se on saatavilla ja interpoloimalla loput alueet 2m-resoluutiolle 10m DEM:stä käyttämällä bicubic-interpolointia.

Valinnaiset argumentit:

  • -i: luo yksittäinen vrt jokaiselle polygonille, oletuskäytös on luoda yksi vrt, joka kattaa kaikki polygoneja.
  • -o: luo yleistykset
  • -p: tuloksen nimen etuliite

Lisenssi ja tunnustukset

Yleisesti ottaen kaikilla aineistoilla on avoin lisenssi, mutta tarkat ehdot vaihtelevat hieman, useimmiten käytössä on CC-BY-4.0-lisenssit. Katso lisätietoa readme-tiedostoista.

Ole hyvä ja tunnusta datan tuottaja lisenssiehtojen mukaisesti, sekä CSC että Geoportti julkaisuissasi, se on tärkeää projektin jatkumiselle ja rahoitusraporteille. Jos käytät Allakseen tarjottua dataa, ole hyvä ja tunnusta myös henkilö, joka jakaa dataa. Esimerkiksi, voit kirjoittaa "The authors wish to thank CSC - IT Center for Science, Finland (urn:nbn:fi:research-infras-2016072531) and the Open Geospatial Information Infrastructure for Research (Geoportti, urn:nbn:fi:research-infras-2016072513) for data provision".