Har du brug for en maskine, der kan levere hundredvis af billioner floating-point-beregninger i sekundet? Eller har du brug for en barhistorie om, hvordan supercomputeren i din kælder vendte en breaker? At bygge din egen High Performance Compute -klynge, også kendt som supercomputer, er en udfordring enhver ekspertnørd med en weekend med fritid og nogle penge at brænde kan klare. Teknisk set er en moderne superprocessor med flere processorer et netværk af computere, der arbejder parallelt for at løse et problem. Denne artikel vil kort beskrive hvert trin i processen med fokus på hardware og software.
Trin
Trin 1. Bestem først de nødvendige hardware -komponenter og ressourcer
Du skal bruge en hovedknude, mindst et dusin identiske computerknudepunkter, en Ethernet -switch, en strømfordelingsenhed og et stativ. Bestem det elektriske behov, køling og den nødvendige plads. Beslut også, hvilken IP -adresse du vil have til dine private netværk, hvad navne skal navngives, hvilke softwarepakker du vil installere, og hvilken teknologi du vil levere parallelle computermuligheder (mere om dette senere).
- Selvom hardwaren er dyr, er al software, der er angivet i denne vejledning, gratis, og de fleste er open source.
- Hvis du gerne vil se, hvor hurtig din supercomputer teoretisk set ville være, skal du bruge dette værktøj:
Trin 2. Byg beregningsknuderne
Du bliver nødt til at samle beregningsknudepunkterne eller erhverve forudbyggede servere.
- Vælg et computerserverchassis, der maksimerer plads, køling og energieffektivitet.
- Eller du kan bruge en halv snes brugte, forældede servere - hvis hele vil opveje summen af deres dele, men alligevel spare dig for en betydelig mængde kontanter. Alle processorer, netværkskort og bundkort skal være identiske for at hele systemet kan spille godt sammen. Glem selvfølgelig ikke RAM og opbevaring for hver node og mindst et optisk drev til hovednoden.
Trin 3. Installer serverne i stativet
Start fra bunden, så stativet ikke er øverst tungt. Du skal bruge en ven til at hjælpe dig med dette - de tætte servere kan være meget tunge, og det er svært at lede dem ind i skinnerne, der holder dem i stativet.
Trin 4. Installer Ethernet -switchen over serverchassiset
Brug dette øjeblik på at konfigurere kontakten: tillad jumbo -billedstørrelser på 9000 bytes, indstil IP -adressen til den statiske adresse, du besluttede dig for i trin 1, og deaktiver unødvendige routingprotokoller, f.eks. SMTP Snooping.
Trin 5. Installer PDU'en (Power Distribution Unit)
Afhængigt af hvor meget strøm dine noder kan have brug for ved maksimal belastning, har du muligvis brug for 220 volt til højtydende computing.
Trin 6. Med alt installeret kan du starte konfigurationsprocessen
Linux er de facto OS til HPC -klynger - det er ikke kun det ideelle miljø til videnskabelig computing, men det koster ikke noget at installere det på hundredvis eller endda tusinder af noder. Forestil dig, hvor meget det ville koste at installere Windows på alle disse noder!
- Begynd med at installere den nyeste version af bundkortets BIOS og firmware, som skal være den samme på alle noder.
- Installer din foretrukne linux -distro på hver node med et grafisk brugergrænseflade til hovednoden. Populære valg omfatter CentOS, OpenSuse, Scientific Linux, RedHat og SLES.
- Denne forfatter anbefaler stærkt at bruge Rocks Cluster Distribution. Ud over at installere alle de værktøjer, der er nødvendige for, at en computerklynge kan fungere, bruger Rocks en fantastisk metode til 'at distribuere' mange forekomster af sig selv til knuderne meget hurtigt ved hjælp af PXE -boot og Red Hat 'Kick Start' -procedure.
Trin 7. Installer meddelelsesformidlet interface, ressource-manager og andre nødvendige biblioteker
Hvis du ikke installerede Rocks i det foregående trin, skal du manuelt opsætte den nødvendige software for at aktivere parallelle computermekanismer.
- Først skal du bruge et bærbart bash-styringssystem, f.eks. Torque Resource Manager, som giver dig mulighed for at bryde op og distribuere opgaver til flere maskiner.
- Par moment med Maui Cluster Scheduler for at fuldføre opsætningen.
- Dernæst skal du installere meddelelsesformidlingsgrænsefladen, der er nødvendig for de enkelte processer på de separate beregningsknudepunkter for at dele de samme data. OpenMP er en no-brainer.
- Glem ikke multi-threading matematiske biblioteker og kompilatorer til at bygge dine parallelle computerprogrammer. Nævnte jeg, at du bare skulle installere Rocks?
Trin 8. Tilslut computernoderne sammen
Hovednoden sender beregningsopgaverne til beregningsknuderne, som igen skal sende resultatet tilbage, samt sende meddelelser til hinanden. Jo hurtigere jo bedre.
- Brug et privat ethernet -netværk til at forbinde alle noder i klyngen.
- Hovednoden kan også fungere som en NFS-, PXE-, DHCP-, TFTP- og NTP -server over Ethernet -netværket.
- Du skal adskille dette netværk fra offentlige netværk, hvilket sikrer, at udsendelsespakker ikke forstyrrer andre netværk i dit LAN.
Trin 9. Test klyngen
Den sidste ting, du måske vil gøre, før du frigiver al denne computerkraft til dine brugere, er at teste dens ydeevne. HPL (High Performance Lynpack) benchmark er et populært valg til måling af klyngens beregningshastighed. Du bliver nødt til at kompilere det fra kilden med alle mulige optimeringer, som din kompilator tilbyder til den arkitektur, du valgte.
- Du skal naturligvis kompilere fra kilde med alle mulige optimeringsmuligheder for din platform. Hvis du f.eks. Bruger AMD -CPU'er, skal du kompilere med Open64 med -0hurtigt optimeringsniveau.
- Sammenlign dine resultater på TOP500.org for at sammenligne din klynge med de hurtigste 500 supercomputere i verden!
Video - Ved at bruge denne service kan nogle oplysninger blive delt med YouTube
Tips
- For virkelig høje netværkshastigheder skal du kigge på InfiniBands netværksgrænseflader. Vær dog parat til at betale præmiepriser.
- IPMI kan gøre administration af en stor klynge til en leg ved at levere KVM-over-IP, fjernstyret cykling og mere.
- Brug Ganglia til at overvåge beregningsbelastningerne på noderne.
