title: Koneoppimisopas
Koneoppimisopas
Tämä opas auttaa käyttäjiä, jotka haluavat käyttää CSC:n laskentaresursseja koneoppimiseen.
Koneoppimisoppaan alaluvut
Tämän sivun lisäksi tämä opas sisältää seuraavat alaluvut:
- Koneoppimisen aloittaminen CSC:llä
- GPU-kiihdytetty koneoppiminen
- Datan tallennus koneoppimiseen
- Moni-GPU ja moni-konesolmu koneoppiminen
- Hyperparametrien haku
- Koneoppimisprosessien hallinta CSC:n supertietokoneilla
- 🆕 Suurten kielimallien käyttö supertietokoneilla
Minkä CSC-palvelun pitäisi valita?
CSC tarjoaa useita palveluita, jotka saattavat olla merkityksellisiä koneoppimiskäyttäjille:
-
Supertietokoneet, Puhti, Mahti ja LUMI ovat monikäyttäjäklustereita ja tarjoavat korkeimman laskentatehon, mukaan lukien GPU-kiihdytyksen keskitetysti hallitussa ohjelmistoympäristössä.
-
Pouta tarjoaa oman virtuaalipalvelimen, jossa on täysi hallinta ohjelmistoympäristöstä, mutta rajoitettu laskentateho verrattuna supertietokoneisiin.
-
Rahti tarjoaa enemmän automatisoidun konttipohjaisen pilviympäristön, joka on erityisen hyödyllinen verkkopalveluiden käyttöönottoa varten.
Suosittelemme käyttämään CSC:n supertietokoneita, ellei tarvitse hyvin monimutkaista ohjelmistoympäristöä tai käsittele arkaluonteista dataa. Näissä tapauksissa Pouta saattaa olla oikea valinta, ja tarjoamme myös ePouta-vaihtoehdon korkean turvallisuuden vaatimuksiin.
Jos kehität palvelua, esimerkiksi haluat ottaa käyttöön koulutetun mallin palveluna, Pouta tai Rahti saattavat olla tarpeellisimpia.
Jos olet epävarma oikeasta palvelusta, älä epäröi ottaa yhteyttä palvelupisteeseemme ja kerro laskentarpeesi.
CSC:n supertietokoneet
Useimpien koneoppimistarpeiden osalta CSC:n supertietokoneet ovat paras valinta. Nämä ovat satojen (tai tuhansien) tietokoneiden klustereita, joista osa tarjoaa GPU-kiihdytyksen. Supertietokoneet ovat monikäyttäjäjärjestelmiä, joten yksittäiset käyttäjät ovat rajattuja ohjelmistojen asentamisessa, ja kuten minkä tahansa jaetun resurssin kanssa, on noudatettava käyttöpolitiikkaa jotta palvelu pysyy käytettävänä.
CSC ylläpitää kahta kansallista supertietokonetta: Puhti ja Mahti, sekä eurooppalaista LUMI-supertietokonetta. Jos et ole varma, mikä supertietokone valita, lue keskustelu täältä.
Jos olet uusi käyttäjä, lue miten pääset Puhti ja Mahti ja miten voit lähettää laskentatehtäviä. Jos olet valinnut LUMI lue LUMI-aloitussivu.
Sekä Puhti että Mahti tarjoavat verkkokäyttöliittymän, johon pääsee osoitteista www.puhti.csc.fi ja www.mahti.csc.fi. Verkkokäyttöliittymän kautta voi helposti käynnistää esimerkiksi Jupyter Notebook -istunnon TensorFlow- tai PyTorch-kirjastojen kanssa.
Tutustu myös alalukuihin, jotka käsittelevät tehokasta GPU:n käyttöä, suurten tietoaineistojen käsittelyä, ja moni-GPU ja moni-konesolmu tehtäviä.
Pilvipalvelut
Pouta
On joitakin käyttötapauksia, joissa supertietokoneet eivät ole oikea ratkaisu, ja saatat tarvita virtuaalipalvelimen Poutassa. Tyypillisiä esimerkkejä ovat:
- erittäin monimutkainen ohjelmistoympäristö,
- tarve root-käyttöoikeudelle,
- laskenta, johon liittyy arkaluonteista dataa.
Poutassa saat oman virtuaalipalvelimen, jossa sinulla on root- eli pääkäyttäjän oikeudet. HPC- ja GPU-muodot ovat saatavilla raskaaseen laskentatarpeeseen, mutta laskentateho on silti pienempi kuin supertietokoneessa.
Arkaluonteista dataa sisältävän laskennan tapauksissa tarjoamme myös ePouta-vaihtoehdon, joka on tarkoitettu korkean tietoturvan vaatimuksiin. ePoutassa virtuaalipalvelin integroidaan olemassa olevaan verkkoinfrastruktuuriin.
Katso Pouta-dokumentaatiomme, miten hakea käyttöoikeutta.