Creare un cluster hpc con suse linux

20 risposte [Ultimo messaggio]
Ritratto di renegate
renegate
(Monster)
Offline
Monster
Iscritto: 22/06/2006
Messaggi: 202

Vorrei aiutare un mio amico a creare una renderfarm su linux. Ho trovato diversa documentazione su google e ho trovato molte faq per creare un cluster hpc con knoppix.
Se mi date qualche consiglio per creare un cluster hpc con suse linux. (uso normalmente suse 10.2 e quindi preferirei rimanere su questa distro)

Grazie

Linux user number 446455

Ritratto di ap1978
ap1978
(Guru)
Offline
Guru
Iscritto: 01/10/2004
Messaggi: 2972

Quote:

renegate ha scritto:
Vorrei aiutare un mio amico a creare una renderfarm su linux. Ho trovato diversa documentazione su google e ho trovato molte faq per creare un cluster hpc con knoppix.
Se mi date qualche consiglio per creare un cluster hpc con suse linux. (uso normalmente suse 10.2 e quindi preferirei rimanere su questa distro)

Grazie

Molto dipende da come è gestita la parallelizzazione del software che usi.

In generale un cluster è semplicemente un insieme di PC che:

- Condividono dischi con NFS

- Comunicano tra loro via SSH: spesso i nodi devono poter accedere l'uno all'altro senza password. Almeno questo è richiesto per alcuni codici commerciali.

- L'autenticazione sui nodi è centralizzata, almeno se vuoi fare qualcosa di raffinato (LDAP).

Ci sono tools di gestione, come OSCAR:

http://oscar.openclustergroup.org/

Le istruzioni che hai trovato comunque dovrebbero facilmente essere applicabili a SuSE.

Ciao

ap Big Grin

Ritratto di lneroni
lneroni
(Junior)
Offline
Junior
Iscritto: 22/12/2004
Messaggi: 50

Ciao,
per cluster computazionali credo che uno dei progetti migliori sia openmosix....
http://openmosix.sourceforge.net/
Spero possa esserti utile!
Ciao

Lorenzo
Powered by openSuSE 10.2

Ritratto di renegate
renegate
(Monster)
Offline
Monster
Iscritto: 22/06/2006
Messaggi: 202

Si tratto di distribuire il calcolo e non solo le risorse.
Il progetto openmosix fa parte di parallelknoppix che sto testando però vorrei qulache info in più per suse.
What is openMosix?
openMosix is a Linux kernel extension for single-system image clustering. This kernel extension turns a network of ordinary computers into a supercomputer for Linux applications.

Non so se tra voi c'è qualche superhacker che utilizza sistemi hpc per crearsi magari un supercomputer linux!

Linux user number 446455

Ritratto di lneroni
lneroni
(Junior)
Offline
Junior
Iscritto: 22/12/2004
Messaggi: 50

Ciao,
magari invece di un hacker può esserci qualche mtereologo o comunque qualcuno che sfrutta le risorse computazionali in altro modo Smile
In ogni caso non so se troverai qualcosa per la 10.2 che è una ditro forse troppo recente. In effetti openMosix supporta a pieno il kerne 2.4.26 .... un po' vecchiotto....
Prova a dare un'occhiata a questo link e magari ti viene qualche idea!
http://lcic.org/

Lorenzo
Powered by openSuSE 10.2

Ritratto di ap1978
ap1978
(Guru)
Offline
Guru
Iscritto: 01/10/2004
Messaggi: 2972

Quote:

renegate ha scritto:
Si tratto di distribuire il calcolo e non solo le risorse.

Questo è quello che ti chiedevo. Devi parallelizzare tu il software? Oppure questo ha già le funzioni di parallelizzazione? O almeno è stato pensato per funzionare in parallelo?

Uso un cluster HPC, e la parallelizzazione è gestita dalle librerie MPI/OpenMPI.

Ciao

ap Big Grin

Ritratto di sevy72
sevy72
(Geek)
Offline
Geek
Iscritto: 26/04/2006
Messaggi: 199

Tempo fa avevo approfondito il discorso cluster, e sono arrivato a delle conclusioni.
In sostanza per usare la parallelizzazione il software deve essere progettato ad-hoc, anche usando openmosix che esegue la migrazione dei processi in automatico, se il tuo software non prevede la "divisione" e l' eleborazione in processi separati dei dati non hai nessun vantaggio ( se non quello di vedere girare il tuo processo in un nodo meno carico, ma di contro avrai la latenza delle connessioni di rete che ti frena l'elaborazione )
In sostanza, i cluster sono utili se l' applicazione è progettata per girarci sopra, se no è solo uno sfizio ( infatti mi pare che openmosix sia fermo come progetto).
Ciao.

Ritratto di mammolo
mammolo
(Junior)
Offline
Junior
Iscritto: 06/02/2007
Messaggi: 11

Ciao è una discussione interessante!Anche io sto tentando di mettere su un piccolo cluster di 4 pc per calcolo scientifico!
Ci sto provando con la suse 10.2 sperando sia adatta!
Avete suggerimenti tecnici o link utili?
Io sto provando così:

1) collegherò i 4 pc (solo 1 di questi è visibile dall'esterno con IP fornito dall'università) ) in locale attaverso un protocollo NIS perchè non ho altri IP dell'università ( e già ho qualche problema con le shede di rete)

2) userò un NFS per condividere le risorse che mi servono

3) permetterò tra questi 4 computer anche protocolli meno sicuri (tipo rsh) per facilitarne la comunicazione

I programmi di calcolo scientifico che uso cono parallelizzati con MPI. Non dovrei avere problemi in questo modo?
O qualcuno ha altri suggerimenti o facilitazioni da darmi?
Dimenticavo cos'è LDAP?Mi può essere utile?

Grazie in anticipo

fRaN :pint: :pint:

Ritratto di ap1978
ap1978
(Guru)
Offline
Guru
Iscritto: 01/10/2004
Messaggi: 2972

Quote:

mammolo ha scritto:
Ciao è una discussione interessante!Anche io sto tentando di mettere su un piccolo cluster di 4 pc per calcolo scientifico!
Ci sto provando con la suse 10.2 sperando sia adatta!
Avete suggerimenti tecnici o link utili?
Io sto provando così:

1) collegherò i 4 pc (solo 1 di questi è visibile dall'esterno con IP fornito dall'università) ) in locale attaverso un protocollo NIS perchè non ho altri IP dell'università ( e già ho qualche problema con le shede di rete)

2) userò un NFS per condividere le risorse che mi servono

3) permetterò tra questi 4 computer anche protocolli meno sicuri (tipo rsh) per facilitarne la comunicazione

I programmi di calcolo scientifico che uso cono parallelizzati con MPI. Non dovrei avere problemi in questo modo?
O qualcuno ha altri suggerimenti o facilitazioni da darmi?
Dimenticavo cos'è LDAP?Mi può essere utile?

Grazie in anticipo

Che programmi di calcolo usi?

Se possibile usa ssh, ma senza password. E' più moderno e mantenuto, mentre rsh è vecchiotto. Di solito i programmi commerciali possono usare sia rhs sia ssh. Controlla nel manuale.

Per quanto riguarda la configurazione, dovrebbe andare.

Ricordati che devi creare tutti gli utenti su tutti i nodi con le stesse password. Inoltre se cambi password su un nodo, devi cambiarla su tutti.
LDAP è un servizio di autenticazione centralizzata, che assolverebbe automaticamente a questo compito. Tuttavia non è immediato da configurare (suse 10.2 ha un tool in yast, credo, cerca nell'installer) e non è strettamente necessario.

Ciao

ap Big Grin

Ritratto di mammolo
mammolo
(Junior)
Offline
Junior
Iscritto: 06/02/2007
Messaggi: 11

Quote:

ap1978 ha scritto:
Che programmi di calcolo usi?

Se possibile usa ssh, ma senza password. E' più moderno e mantenuto, mentre rsh è vecchiotto. Di solito i programmi commerciali possono usare sia rhs sia ssh. Controlla nel manuale.

Per quanto riguarda la configurazione, dovrebbe andare.

Ricordati che devi creare tutti gli utenti su tutti i nodi con le stesse password. Inoltre se cambi password su un nodo, devi cambiarla su tutti.
LDAP è un servizio di autenticazione centralizzata, che assolverebbe automaticamente a questo compito. Tuttavia non è immediato da configurare (suse 10.2 ha un tool in yast, credo, cerca nell'installer) e non è strettamente necessario.

Ciao

Uso programmi di calcolo molto complessi tipo Wien e Vasp. Sono programmi che si usano un fisica e chimica e servono a calcolare le proprietà(per esempio magnetiche) di diversi materiali: metalli, leghe etc...
Vanno sempre più di moda ma richiedono a volte grosse risorse computazionali!Usano solitamente per la parallelizzazione librerie MPI.
Poi devo far girare un progremma scritto da me in fortran 90, ma anche questo usa le MPI!

Sei sicuro che gli utenti su nodi diversi debbano avere la stessa password?
Io pensavo di attivare una identificazione tramite una chiave RSA col comando ssh-keygen eventalmente!
Su altri computer questo tipo di identificazione mi ha funzionato senza che gli stessi utenti avessero la stessa password!

Ciaooo!

fRaN :pint: :pint:

Ritratto di ap1978
ap1978
(Guru)
Offline
Guru
Iscritto: 01/10/2004
Messaggi: 2972

Quote:

mammolo ha scritto:

Uso programmi di calcolo molto complessi tipo Wien e Vasp. Sono programmi che si usano un fisica e chimica e servono a calcolare le proprietà(per esempio magnetiche) di diversi materiali: metalli, leghe etc...
Vanno sempre più di moda ma richiedono a volte grosse risorse computazionali!Usano solitamente per la parallelizzazione librerie MPI.
Poi devo far girare un progremma scritto da me in fortran 90, ma anche questo usa le MPI!

Allora non dovresti avere particolari problemi.

Quote:

Sei sicuro che gli utenti su nodi diversi debbano avere la stessa password?
Io pensavo di attivare una identificazione tramite una chiave RSA col comando ssh-keygen eventalmente!
Su altri computer questo tipo di identificazione mi ha funzionato senza che gli stessi utenti avessero la stessa password!

Non ne sono certo. Ma non mi sembra molto logico che l'utente Pippo abbia password diverse a seconda dei nodi.

Un consiglio: mantieni le cose semplici. La comunicazione tra nodi avviene in rete locale, dedicata, quindi è inutile usare una protezione elevata. Wink

Ciao

ap Big Grin