Johdanto Allas-tallennuspalveluun

Mikä on Allas?

Allas on CSC:n yleiskäyttöinen tutkimusdatan tallennuspalvelin. Se on osa CSC:n tallennusportfoliota ja sitä voidaan käyttää sekä CSC:n palvelimilla että mistä tahansa internetistä. Allasta voidaan käyttää sekä staattista tutkimusdataa varten, joka tarvitsee olla analysoitavissa, että kerääntyvän tai muuttuvan datan kokoamiseen ja isännöintiin. CSC-projekti vaaditaan datan tuomiseksi Allakseen. Allasta voidaan käyttää datan isännöimiseen niin kauan kuin CSC-projekti on aktiivinen.

Teknisestä näkökulmasta katsottuna Allas on moderni objektitallennusjärjestelmä. Se sisältää S3- ja Swift-rajapinnat CEPH-tallennuksessa. Käytännössä tämä tarkoittaa sitä, että tiedostojen sijaan data tallennetaan objekteina ämpäreissä (buckets). Ämpäri on objektien säiliö, joka voi myös sisältää metatietoa, joka kuvaa ämpäriä.

Tallennetut objektit voivat olla mitä tahansa datatyyppiä, kuten kuviakin tai pakattuja tiedostoja. Yleisesti ottaen objektit ovat samanlaisia kuin tiedostot. Objektitallennusta voidaan käyttää moniin eri tarkoituksiin. Sillä on etuja mutta myös rajoituksia.

Hyödyt

Objektitallennus kykenee käsittelemään käytännössä mitä tahansa staattista dataa.
Dataan pääsee käsiksi mistä tahansa URL:n avulla.
Datalla voi olla erilaiset pääsynvalvontatasot.
Datalla voi olla elinkaarikäytäntö asetettuna.

Rajoitukset

Objektitallennuksen käyttö edellyttää tiettyjä työkaluja. Objektitallennusta ei voi kunnolla liittää paikallisesti levyltä käytettäväksi. On olemassa joitakin työkaluja, jotka voivat tehdä tämän, mutta niillä on rajoituksia. Esimerkiksi svfs voidaan käyttää liittämään Swift tiedostojärjestelmänä, mutta se käyttää FUSE:a, joka on hidas.
Se ei sovellu tiedostoille, jotka muuttuvat jatkuvasti elinaikansa aikana (esim. useimmat SQL-tietokannat).
Dataa ei voi muokata ollessaan Allaksessa. Se on ladattava palvelimelle prosessointia varten ja edellinen versio on korvattava uudella.
Swift-protokollan yhteydessä yli 5 GB:n kokoiset tiedostot jaetaan pienempiin segmentteihin. Tämä tapahtuu yleensä automaattisesti latauksen aikana. Katso yli 5 GB:n tiedostot.

Laskutus ja kiintiöt

Allaksen käyttö perustuu CSC-projekteihin. Kaikilla projektin jäsenillä on yhtäläinen pääsyoikeus projektin tallennusalueelle. Käytännössä tämä tarkoittaa, että jos yksi projektin jäsen lataa dataa Allakseen, kaikki muut projektin jäsenet voivat myös lukea, muokata ja poistaa dataa. Allas itse ei tallenna tietoja siitä, kuka on ladannut dataa Allakseen.

Uuden projektin oletuskiintiö on 10 TB, mutta sitä voidaan kasvattaa tarvittaessa. Allas on ensisijainen tallennuspaikka mille tahansa suurille tietoaineistoille CSC-ympäristössä, joten älä epäröi pyytää suurempaa kiintiötä Allakselle, jos työskentelet suurten tietoaineistojen parissa.

Allas-kiintiön kasvattamiseen voit lähettää pyynnön osoitteeseen: servicedesk@csc.fi. Pyynnössä määrittele, mitä Allas-projektia käytät, kuinka suuri tallennustila tarvitaan ja millaista dataa tallennetaan Allakseen.

Projektien oletuskiintiöt:

Resurssi	Raja
Tallennusmäärä	10 TiB
Ämpärit per projekti	1 000
Objektit per ämpäri	500 000

"Objektit per ämpäri" kiintiön maksimi on 500 000. Ylittämällä tämän rajan ämpäri voi joutua tilanteeseen, jossa mitään operaatioita ei voi suorittaa. Jos tarvitset enemmän objekteja, harkitse objektien jakamista useisiin ämpäreihin. Datavirheiden jakaminen useisiin ämpäreihin tuottaa paremman suorituskyvyn aina, kun objekteja kirjoitetaan.

Tiedon tallentaminen Allakseen kuluttaa laskentayksiköitä. Allaksessa laskutus perustuu tallennetun datan määrään. Korko on 1 BU/TiBh, eli 1 TB dataa tallennettuna Allakseen kuluttaa 24 BU päivässä ja 8760 BU vuodessa.

Toisin kuin useimmat muut objektitallennuspalveluntarjoajat, CSC ei veloita objektitallennusverkon siirtojista tai API-kutsuista.

Eri tapoja käyttää Allasta

Et voi mountata Allasta suoraan tietokoneeseen. Tämä tarkoittaa sitä, että Allaksen käyttöön tarvitaan ohjelmistotyökaluja. Allaksen käyttämiseen on neljä pääasiallista tapaa:

Allas-käyttöasiakkaat

CSC:n laskentaympäristössä (Puhti ja Mahti) on valmiiksi asennettuja CSC:n tarjoamia työkaluja Allas-yhteyttä varten. Nämä työkalut ovat enimmäkseen samat, jotka voidaan myös asentaa mihin tahansa Linux-ympäristöön, esim. cPouta-virtuaalikoneeseen tai paikalliseen Linux-palvelimeen. CSC:n laskentaympäristössä Allasta tulisi käyttää kaikkien tietojen säilyttämiseen, jotka täytyy säilyttää yli muutaman viikon. Supertietokoneen oma summauspolitiikka poistaa joutilasta dataa, joten datan siirtämistä Allakseen laskennan jälkeen vaaditaan. Katso Laskentalaitteiston levyympäristö
Allas Web UI tarjoaa verkkopohjaisen graafisen käyttöliittymän objektitallennuksen hallintaan Allaksessa. Se mahdollistaa käyttäjien luoda ja hallita ämpäreitä, ladata ja ladata objekteja (enintään 5 GiB per tiedosto) ja konfiguroida jakamisoikeudet. Allas Web UI tarjoaa kätevän tavan olla vuorovaikutuksessa Allaksen kanssa ilman komentorivityökaluja, joten se sopii käyttäjille, jotka suosivat visuaalista lähestymistapaa. Lisää tietoa löytyy Allas Web UI -oppaasta.
WWW-pääsy Allakselle tarjotaan cPouta-pilviympäristön verkkokäyttöliittymän kautta https://pouta.csc.fi. Allakseen pääsy selaimen kautta ei vaadi erityistä ohjelmistoa, mikä on selkeästi helpoin tapa päästä Allakseen. Selaimen käyttöliittymässä on toisaalta kuitenkin tiettyjä rajoituksia muihin asiakkaisiin verrattuna, joista merkittävin on alhaisempi suorituskyky ja lataaminen/lataaminen vain yhdelle tiedostolle kerrallaan. Ohjeet Allaksen käyttämiseen ja avaamiseen selaimella: OpenStack Horizon -verkkokäyttöliittymä.
Päästäksesi Allakseen komentorivillä, tarvitaan Swift- tai S3 -protokollaa tukeva asiakasohjelmisto. Tämä on joustavin tapa päästä Allakseen, mutta se vaatii enemmän aikaa ja vaivaa kuin muiden yhteyksien käyttö. Ohjeet komentorivi-asiakkaan käyttöön: Allakseen pääseminen Linuxilla.
Käyttääksesi Allasta GUI-asiakkaan kautta tarvitset sopivan GUI-asiakkaan. Asiakkaan tulee olla kykenevä käyttämään Swift- tai S3 -yhteysprotokollaa. Ohjeet GUI-asiakkaan käyttöön: Allakseen pääseminen Windowsilla ja Macilla.

Katso myös yleiset käyttötilanteet.

Protokollat

Objektitallennuspalvelu tarjotaan kahden eri protokollan, Swift ja S3, kautta. Käyttäjän näkökulmasta yksi suurimmista eroista S3:n ja Swiftin välillä on todennus. Allaksessa käytetty token-pohjainen Swift-todennus on voimassa kahdeksan tuntia kerrallaan, mutta avainpohjainen S3 mahdollistaa pysyvän yhteyden. S3:n pysyvä yhteys on käytännöllinen monin tavoin, mutta siihen sisältyy turvallisuusnäkökohta: jos palvelin, jossa Allasta käytetään, vaarantuu, objektitallennustila vaarantuu myös.

Tästä turvallisuusasioista johtuen Swift on suositeltu protokolla monikäyttäjäpalvelimilla, kuten Mahti ja Puhti. Esimerkiksi CSC-spesifikation a-komennot sekä Puhtin ja Mahtin standardirajapinta rclone perustuvat Swiftiin. Kuitenkin joissain tapauksissa S3-protokollan pysyvät yhteydet saattavat olla järkevin vaihtoehto, esimerkiksi henkilökohtaiset virtuaalikoneet cPoutassa.

Swift ja S3 protokollat eivät ole yhteensopivia objektien käsittelyssä. Pienten objektien osalta, joita ei tarvitse jakaa lataamisen aikana, protokollia voidaan käyttää korvaavina, mutta jaetut objektit voidaan käyttää vain lataamiseen käytetyllä protokollalla. Objektin jakamisen raja riippuu asetuksista ja protokollasta, mutta se on yleensä 500 MB:n ja 5 GB:n välillä.

Yleiset suositukset protokollan valinnasta:

Käytä mahdollisuuksien mukaan Swift-protokollaa. Se on paremmin tuettu.
Valitse joka tapauksessa vain yksi protokolla. Älä sekoita S3- ja Swift-protokollia.
Parempi on tallentaa muutamia suuria objekteja kuin monia pieniä objekteja.
Yli 100 GB:n objektien käyttö saattaa aiheuttaa ongelmia pitkistä lataus- ja purkuajoista johtuen.

Asiakkaat

Allakseen pääsee asiakasohjelmistojen kautta, jotka huolehtivat datan siirrosta Allakseen ja Allaksesta sekä dataobjektien hallinnasta. Objektitallennuspalvelimeen pääsee monenlaisten asiakasohjelmistojen kautta. Allasta voidaan käyttää millä tahansa Swift- tai S3-protokollan yhteensopivalla objektitallennusasiakasohjelmistolla.

Asiakas	Huomautukset
Allas Web UI	Käytä https://allas.csc.fi kautta.
SD Connect	Herkkiin tietoihin suunniteltu web-käyttöliittymä Allakselle.
a-komennot	Tarjoaa helppokäyttöisiä työkaluja peruskäyttöön. Vaatii Rclonen, Swiftin ja OpenStackin.
swift python-swiftclient	Monipuolinen Swift-asiakasohjelma.
s3cmd	Monipuolinen S3-asiakasohjelma (versio 2.0.2 tai uudempi).
Python S3:lla	Ohjelmallinen pääsy.
Python Swiftillä	Ohjelmallinen pääsy.
rclone	Monipuolinen komentorivityökalu sekä Swift- että S3-protokollille
libs3
python-openstackclient
aws-cli	aws-cli ja boto3 Python-kirjasto.
curl	Erittäin helppokäyttöinen julkisten objektien ja tilapäisten URL-osoitteiden kanssa.
wget	Sama kuin curl.
web-asiakas	Käytä https://pouta.csc.fi kautta. Tarjoaa perustoiminnot.

Asiakasoperaatiot

Verkkoasiakas on soveltuva perustoimintojen käyttöön. a-komennot tarjoavat helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Tehokäyttäjät saattavat haluta harkita asiakkaita rclone, Swift ja s3cmd. Taulukko esittelee tehokäyttäjien asiakasohjelmien keskeiset toiminnot Allaksen datanhallinnassa.

	Allas Web UI	a-komennot	rclone	Swift	s3cmd
Käyttö	Perus	Perus	Teho	Teho	Teho
Luodaan ämpärit	✔	✔	✔	✔	✔
Ladataan objektit	✔	✔	✔	✔	✔
Listataan
objektit	✔	✔	✔	✔	✔
ämpärit	✔	✔	✔	✔	✔
Ladataan
objektit	✔	✔	✔	✔	✔
ämpärit	✔		✔	✔	✔
Poistetaan
objektit	✔	✔	✔	✔	✔
ämpärit	✔••	✔	✔	✔	✔••
Hallitsemaan käyttöoikeuksia
julkinen/yksityinen		✔		✔	✔
luku/kirjoitusoikeus toiselle projektille	✔	✔		✔	✔
väliaikaiset URLit				✔	✔
Aseta elinkaarikäytännöt					✔
Siirrä objektit				✔	✔
Muokkaa metatietoja				✔	✔
Lataa koko projekti			✔	✔
Poista koko projekti			✔	✔

•• Vain tyhjät ämpärit

Järjestelmän ominaisuudet

Allaksessa objektit tallennetaan ämpäreihin. Ämpäri on dataobjektien säiliö. Ämpäreitä ei pidä sekoittaa dockereihin tai muihin laskentakontteihin. Ämpäri toimii kuten tiedostojärjestelmän hakemisto, paitsi että siinä voi olla vain yksi taso, eli ämpärit eivät voi sisältää muita ämpäreitä.

Allas-projektit ja ämpärit Kuva Tietorakenne Allaksessa

Ämpäreiden nimeäminen

Jokaisella ämpärillä on nimi, jonka on oltava ainutlaatuinen kaikkien Allaksen käyttäjien keskuudessa. Jos toisella käyttäjällä on ämpäri nimeltä "test", toista "test"-nimistä ämpäriä ei voi luoda. Kaikki ämpärien nimet ovat julkisia, joten älä sisällytä ämpärin nimiin mitään luottamuksellista tietoa. Voit esimerkiksi käyttää projektisi tunnusta, esimerkiksi 2000620-raw-data.

Objektien URLit voivat olla DNS-muodossa, esim. https://a3s.fi/bucketname/objectname. Käytäthän kelvollista DNS-nimeä (RFC 1035). Suosittelemme, ettet käytä isoja kirjaimia tai ei-ASCII merkkejä (ä, ö jne.).

Ämpäriä ei voi uudelleen nimetä.

Data on jaettu eri palvelimille, mikä suojaa levy- ja palvelinhäiriöiltä. Huomaa: Tämä ei suojaa dataa esim. tahattomalta poistamiselta. Tee säännöllisesti varmuuskopioita tärkeästä datasta. ```

This content has been translated from English to Finnish while preserving all markdown, code blocks, URLs, and special formatting as specified in the guidelines.