Hyppää sisältöön

Significant changes to Puhti & Mahti authentication coming in April! Read about the SSH key and multi-factor authentication requirements.

Allasin käyttäminen

Pääsyn saaminen

Allas-käyttö perustuu CSC:n asiakasprojekteihin. Jotta voit käyttää Allasta, sinun tulee olla jäsenenä CSC-projektissa, jolla on lupa käyttää Allasta. Jos sinulla ei ole CSC-tunnusta, sinun tulee ensin rekisteröityä CSC-käyttäjäksi ja liittyä sellaiseen laskentaprojektiin, johon on kytketty Allas. Tämä voidaan tehdä MyCSC-käyttäjäportaalissa: https://my.csc.fi.

Kun sinulle on aktivoitu Allas, voit käyttää sitä mistä tahansa internetiin kytketystä laitteesta tai palvelimesta. Tämä voi olla esimerkiksi oma kannettava tietokoneesi, supertietokone CSC:llä, virtuaalikone pilvessä tai jopa puhelimesi.

Allasin käyttäminen verkkoselaimella

Tällä hetkellä CSC tarjoaa useita verkkoselainliittymiä Allasiin:

Allas Web UI on selainpohjainen käyttöliittymä, joka on suunniteltu helpottamaan objektitallennuksen hallintaa Allasissa. Se tarjoaa intuitiivisen tavan käsitellä dataa ilman tarvetta komentorivityökaluille.
Se on ihanteellinen vaihtoehto käyttäjille, jotka suosivat graafista käyttöliittymää komentorivityökalujen sijaan perusobjektitallennustehtävissä.

Puhtin ja Mahtin WWW-liittymät ovat yhteydessä Allasiin. Näiden avulla voit siirtää tiedostoja ja kansioita paikallisen tietokoneesi ja Allasin sekä CSC:n supertietokoneiden ja Allasin välillä.

cPoutan OpenStack Horizon -verkkoliittymä tarjoaa helppokäyttöisiä perustoimintoja datanhallintaan Allasissa. Tämä käyttöliittymä toimii vain alle 5 GB kokoisille tiedostoille.

SD Connect tarjoaa liittymän herkän datan tallentamiseen ja jakamiseen. Tämä palvelu perustuu Allasiin, mutta emme suosittele sitä muuhun kuin herkän datan käsittelyyn.

Allasin käyttäminen CSC:n laskentaympäristössä ja muilla Linux-alustoilla

CSC:n supertietokoneet Puhti ja Mahti tukevat useita erilaisia komentorivityökaluja Allasin käyttöön, mukaan lukien:

  • a-tools peruskäyttöön: (Swift, valinnaisesti S3)
  • rclone kehittyneempiin toimintoihin: (Swift, valinnaisesti S3)
  • swift Python-käyttäjä, joka tarjoaa laajan valikoiman toimintoja (Swift)
  • s3cmd S3-asiakas ja pysyvät Allas-yhteydet: (S3)

Huomaa, että yllä listatut työkalut käyttävät kahta eri protokollaa: Swift ja S3. Yhdellä protokollalla ladattu data ei välttämättä ole yhteensopivaa toisen protokollan kanssa.

Edellä mainittuja ohjelmistoja voidaan käyttää myös muilla laitteilla, esimerkiksi cPoutassa pyörivällä virtuaalikoneella tai omalla kannettavalla tietokoneellasi.

Puhtissa ja Mahtissa yllämainitut Allas-työkalut on asennettu CSC:n toimesta ja ne ovat käytettävissä allas-moduulin kautta. Jotta voit käyttää Allasta Puhtissa tai Mahtissa, lataa ensin Allas-moduuli: 

module load allas
Allekirjoittajaprotokollalle pääsy voidaan aktivoida: 
allas-conf
S3-protokollan aktivoimiseen käytä vaihtoehtoa -m S3: 
allas-conf -m S3
Komento allas-conf kysyy CSC-salasanaasi (sama, jota käytät kirjautuessasi CSC-palvelimille). Se listaa Allas-projektisi ja pyytää määrittelemään projektin (ellei sitä ole jo määritelty argumenttina). allas-conf luo rclone-konfiguraatiotiedoston Allas-palvelulle ja todentaa yhteyden valittuun projektiin. allas-conf mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä sessiossa. Allasissa käytettävän projektin ei tarvitse olla sama kuin Puhtissa tai Mahtissa käytettävä projekti, ja voit vaihtaa toiseen projektiin suorittamalla allas-conf uudelleen.

Swift-protokollan tapauksessa autentikointitiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL ja ne ovat voimassa enintään kahdeksan tuntia. Voit kuitenkin päivittää autentikoinnin milloin tahansa suorittamalla allas-conf uudelleen. Ympäristömuuttujat asetetaan vain nykyiselle kirjautumissessiolla, joten sinun tulee määritellä autentikointi erikseen jokaiselle skallille, jolla haluat käyttää Allasia.

S3-protokollan tapauksessa autentikointitiedot tallennetaan laitteesi kotikansion konfiguraatiotiedostoihin. Sama autentikointi käytetään kaikissa kirjautumissessioissa eikä sillä ole voimassaoloaikaa.

Kun Allas-yhteys on konfiguroitu, voit aloittaa objektitallennuksen käytön yllä mainittujen työkalujen avulla.

Erilaiset Allas-toiminnot eri työkaluilla.

Työkalu Listaa objektit ämpärissä buck_123 Lataa tiedosto data1.txt ämpäriin buck_123 Lataa tiedosto data1.txt ämpäristä buck_123
a-commands a-list buck_123 a-put data1.txt -b buck_123 a-get buck_123/data1.txt.zst
rclone (swift) rclone ls allas:buck_123 rclone copy data1.txt allas:buck_123/ rclone copy allas:buck_123/data1.txt ./
rclone (S3) rclone ls s3allas:buck_123 rclone copy data1.txt s3allas:buck_123/ rclone copy s3allas:buck_123/data1.txt ./
Swift swift list buck_123 swift upload buck_123 data1.txt swift download buck_123 data1.txt
s3cmd* s3cmd ls s3://buck_123 s3cmd put data1.txt s3://buck_123/ s3cmd get s3://buck_123/data1.txt

Allasin käyttäminen Windows- tai Mac-laitteilla

Edellä mainittujen verkkoliittymien lisäksi voit käyttää Allasta Windows- tai Mac-tietokoneelta paikallisesti asennetun asiakasohjelmiston avulla. Esimerkkeinä seuraavat työkalut:

  • Cyberduck tarjoaa helppokäyttöisen graafisen liittymän datan siirtoon paikallisen tietokoneen ja Allasin välillä.
  • Rclone on komentorivityökalu, joka tarjoaa erittäin tehokkaan tavan käyttää Allasta missä tahansa käyttöjärjestelmässä.
  • a-tools ovat Allas-spesifisiä komentoja, jotka voidaan asentaa macOS- ja Linux-laitteille, mutta eivät Windows-käyttöjärjestelmään.

Lista ei ole täydellinen tai poissulkeva. Mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi periaatteessa käyttää Allasia.

Tiedostojen kopioiminen suoraan objektitallennusten välillä

Rclonea voidaan käyttää myös tiedostojen suoraan kopioimiseen toisesta objektitallennuksesta (esim. Amazon S3, Google cloud, CREODIAS,...) Allasiin. Tätä varten molemmat käyttöoikeudet on tallennettava Rclone-konfiguraatiotiedostoon käyttäjän kotihakemistoon (.config/rclone/rclone.conf). Alla on esimerkki:

[s3allas]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
endpoint = a3s.fi
acl = private

[otherobjectstorage]
type = s3
provider = Other
env_auth = false
access_key_id = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
secret_access_key = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
endpoint = yourotherendpoint.com
acl = private
Konfiguraatio Allasille lisätään automaattisesti, kun konfiguroidaan Allas S3-tilassa

source allas_conf --mode s3cmd.

Tämän tiedoston luomisen/päivittämisen jälkeen Rclonea voidaan käyttää tiedostojen kopioimiseen

rclone copy otherobjectstorage:bucket-x/object-y s3allas:bucket-z/object-a

tai listoimaan tiedostot joko Allasista tai toisesta objektitallennuksesta käyttämällä tiettyä nimeä

rclone lsf otherobjectstorage:.

Muut tavat käyttää Allasia