Mihin minun tulisi tallentaa tietoni?
CSC:n supertietokoneet Puhti ja Mahti käyttävät molemmat rinnakkaista tiedostojärjestelmää nimeltä Lustre. Lustressa oleviin tietoihin pääsee käsiksi kaikista järjestelmän solmuista, ja siksi se on paras paikka tallentaa laskentaan tarvittavat tiedot. Huomaa, että et voi suoraan käyttää Lustressa olevia tietoja Puhtista Mahtiin tai päinvastoin, eli niillä on omat Lustre-tiedostojärjestelmänsä. Voit kuitenkin siirtää tietoja Puhtin ja Mahtin välillä käyttämällä työkaluja kuten rsync.
Tarkemmin sanottuna CSC:n supertietokoneilla on kolme pääasiallista levyaluetta: home, projappl ja scratch. Kotihakemisto (käytettävissä muuttujalla $HOME) on ainoa käyttäjäkohtainen hakemisto. Muut hakemistot, scratch ja projappl, ovat projektipohjaisia ja niiden käyttäjänä ovat kaikki projektin jäsenet. Niihin pääset käsiksi osoitteissa /scratch/<project> ja /projappl/<project>, joista <project> tulee korvata oman CSC-projektin todellisella tunnuksella (katso Miten löydän tietoa projekteistani). Tämä tarkoittaa myös sitä, että jos olet jäsenenä useammassa projektissa, sinulla on pääsy useisiin scratch- ja projappl-hakemistoihin. Sinulla on kuitenkin vain yksi kotihakemisto.
Kirjautuessasi CSC:n supertietokoneille sinun tulisi vaihtaa projektisi scratch-hakemistoon, koska kotihakemisto ei ole tarkoitettu analyysiin tai laskentaan tarvittavien tietojen tallentamiseen. Sen tarkoitus on tallentaa konfiguraatiotiedostoja ja muita pieniä käyttäjäkohtaisia tietoja (oletuskiintiö 10 GB). Hakemiston kapasiteetin ylittyminen aiheuttaa erilaisia ongelmia (katso Levykiintiö ylitetty). Scratch-levy on pääasiallinen levyalue aktiivisen tutkimusdatan tallentamiseen (oletuskiintiö 1 TB), kun taas projappl on tarkoitettu esimerkiksi projektille yhteisten ohjelmistojen ja kirjastojen asennuksiin (oletuskiintiö 50 GB). Katso lisätietoa levyalueista.
CSC ei tee varmuuskopioita tiedoistasi!
CSC ei automaattisesti tee varmuuskopioita mistään levyalueista. Tämä tarkoittaa, että käyttäjän vahingossa poistamia tietoja ei voida palauttaa millään tavalla. Lisäksi, pidä mielessä, että tiedostot scratch-levyllä, joita ei ole käytetty 180 päivään, poistetaan automaattisesti.
Välttääksesi odottamattoman tietojen menetyksen, siirrä aktiivisessa käytössä olevat tiedostot pois scratch-alueelta ja muista ottaa säännöllisesti varmuuskopiot tärkeistä tiedoistasi esimerkiksi Allasiin tai omaan organisaatiosi tallennusjärjestelmiin.
Yksi Allaksen päätarkoituksista on tallentaa tietoja, jotka eivät ole aktiivisessa käytössä CSC:n supertietokoneilla. Ennen kuin työskentelet tietojen parissa HPC-järjestelmässä, kopioi ne Allasista supertietokoneelle (stage in). Kun tietoja ei enää aktiivisesti käytetä, ne voidaan siirtää pois, eli ladata takaisin Allasiin.
Lue lisää Allaksen yleisistä käyttötarkoituksista ja katso esimerkki datasetin ylläpidosta.