Warning: Missing argument 2 for wpdb::prepare(), called in /home/stromber/public_html/kryptoblog/wp-content/plugins/wp-super-edit/wp-super-edit.core.class.php on line 109 and defined in /home/stromber/public_html/kryptoblog/wp-includes/wp-db.php on line 1222
Lite tankar om TOP500-listan » Kryptoblog

Lite tankar om TOP500-listan

June 27th, 2008 by Joachim Strömbergson Leave a reply »

(En liten teknikutsvävning så här på fredag. Kopplingen till IT-säkerhet och krypto är väl att mycket beräkningskraft alltid är bra om man skall joxa med krypto, speciellt för att försöka analysera och knäcka dom…)

Jag har tittat lite på den senaste TOP500-listan, dvs listan över superdatorer. Snabbaste maskinen totalt sett är IBMs Roadrunner (vilken jag tidigare skrivit om):

IBM Roadrunner

Världen snabbaste dator: Roadrunner, byggd av IBM för LANL.

Snabbaste maskinen i Sverige, FRA:s HP-burk, har halkat ner från femte till 11:e plats på ett år. Sverige har just nu nio maskiner på listan, dvs 1.80% av alla superdatorer. Totalt 38596 processorer som tillsammans når drygt 393 TFLOPS. Lite mer statistik:

Leverantörer
IBM innehar platserna 1-3 på prestandalistan och har fem maskiner på top 10. IBM vinner även totalt med 42% av alla system, före HP med 37%. Bland gamla klassiska superdatorbolag spöar SGI faktiskt Cray med 4.4% mot 3.2%, men båda får pisk av kontorsråttan Dell som står för 5% av systemen.

Processorer
Lägger man ihop statistiken för AMDs x86, Intel x86-32 och x86-64 är nästan 85% av alla processorer som används en x86-processor(!). Power är på andra plats med 13%. Itanium och andra arkitekturer är väsentligen avrundningsfel. SPARC finns inte med alls. Var tog alla kraftfulla server- och HPC-processorarkitekturer vägen?

Kommunikationsteknik
Superdatorer, beräkningskluster och HPC-maskiner med många beräkningsnoder som samarbetar för att skapa ett resultat är beroende av bra kommunikationsteknik. Det är inte bara bandbredd utan fördröjningen (latensen) är extremt viktig för att nå bra prestanda.

Som Seymour Cray sa på 70-talet: It’s the heat and the thickness of the mat which matters., där mattan är härvan av kablar mellan maskinerna. (Jag sprang på en presentation om kommunikation och högpresterande beräkningar som kan vara värd att titta igenom.)

För att få till den kommunikation som behövs har man traditionellt i superdatorer och HPC-system använt specialutvecklade kommunikationslösningar, exempelvis Infiniband och Myrinet.

Det som är intressant att se är att för 57% av alla maskiner på listan är den kommunikationsteknik som används Gbit Ethernet (GE). Infiniband kommer på andra plats med 24% och Myrinet används i drygt 2% av alla maskiner.

HyperTransport (HT) finns förvånande nog inte med trots att det bland annat används i maskiner från Cray (om det inte är det som kallas Cray Interconnect, vilket det verkar vara).

OS
Linux dominerar stort på OS-sidan med 85%. Lustigt nog delar man sedan upp OS på UNIX, BSD Based och Mac OS. Tillsammans blir dessa dock knappt 6%.

Windows, som har slagit hårt på trumman de senaste åren för Windows HPC Server har på ett år ryckt upp sig från 0.6% till 1%. En av dessa Windows-kapabla maskiner är Akka vid HPC2N i Umeå:

Akka
Superdatorklustret Akka.

Allmänt
TOP500-listan är en relativt skev lista, där lejonparten av maskinerna egentligen är stora ansamlingar/kluster av normala datorer.

Längst upp i toppen är det fortfarande specialdesignade system med ovanliga arkitekturer (på processor och systemnivå), kommunikationsteknik och kylning.

Trenden mot standardteknik – standardmaskiner byggda av x86-processorer med Linux som OS och Ethernet som kommunikationsteknik är, tycker jag, tydlig.

För den som vill läsa om utmaningarna med att bygga PFLOP-maskiner finns en artikel om IBMs Bricks-projekt. Artikeln IBM Intelligent Bricks project-Petabytes and beyond är ett par år gammal, men är fortfarande fascinerande läsning.

Av superdatortillverkarna Convex, Parsytech, KSR, Sequent, Meiko, MasPar, TMS, nCube har spåren sedan länge kallnat.

Det var roligare förr när superdatorer var exotiska, märkliga bestar, inte bladservrar, pizzaboxar och PC-burkar på hög. Titta på dessa snygga maskiner:

Convex
En Convex 3800.

Tera MTA
En Tera MTA 1. (Vacker, men gick inte att producera.)

Cray C90.
Cray C90, kanske den vackraste av alla superdatorer.

Professor Erik Hagersten sa en gång att en riktig superdatortillverkare skall ha gått i konkurs minst en gång men tyvärr verkar allt färre av dom återuppstå, utan ersätts av Svenssonmaskiner. Många Svenssonmaskiner.

För den som gillar datorporr finns en del sidor på nätet. Den här har nostalgisk HPC-porr och den här har allmän nostalgidatorporr.

NSC i Linköping har en sekvens med fantastiska bilder som visar hur superdatorer gått från vackra skapelser till IVAR-hyllor med PC-burkar.

I Tyskland finns det tydligen en avdelning på Munchens datormuseum som är ett ett Cray-museum. Något för sommarsemestern att besöka?

No related posts.

Related posts brought to you by Yet Another Related Posts Plugin.

Advertisement

2 comments

  1. jakobe says:

    Jo, dominansen av x86 är riktigt trist. Trist arkitektur och trista maskiner. Det enda ljuset är väl just IBM. Som visar att man kan bygga på kommersiella standardbyggstenar som inte är x86, i vart fall inte överallt.

    Roadrunner bygger på en kul mix av Opteroner för grundarbetet och sedan “Cell” för det tunga beräkningsarbetet. Och Cell delar Power-processor med Xbox360. I grunden för BlueGene ligger en PowerPC 440-kärna, samma som sitter som styrprocessor i en massa små routrar och annan nätverksutrustning, oftast såld av AMCC. Man har iofs skruvat lite på den, satt dit en flyttalsenhet till… men jag tror jag fattat det som att man nu ska sälja även denna kärna för den som vill bygga en egen ASIC.

    Så det är vanliga bitar ihopsatta på i vissa fall speciella chip.

    Att exotiska interconnects nästan inte finns med kan också bero på att mycket av det hamnat inom moderna SoC: inne i Cell sitter det en hel del kul saker, men det syns ju inte på systemsidan som top500 listar. Kanske är det så att moderna datorer samlar så mycket kraft inom ett chip eller inom en låda att det blir enklare att sedan koppla ihop dessa med förhållandevis långsamma interconnects? Varje arbetsenhet kan göras rejält stor. Medan för en tjugo år sedan var man tvungen att se till att alla processorer kunde vara med och jobba på delar av samma problem; vilket gör att behovet av avancerade interconnects är något mindre idag.

    Hm. Intressant i vilket fall. Om vi ska undvika en trist x86-grå framtid är det bara att säga “Go Power Go”, eftersom Power verkar vara den viktigaste konkurrenten just nu tillsammans med ARM.

  2. Aloha!

    Tack för bra kommentater. Håller helt med om att det är på insidan av chippen mycket av det spännande vad gäller interconnect händer. CBE:s EBI-ringar modell token ring i 200+ GByte/s är extremt fräck teknik. Jag gillar även hur de väsentligen bygger upp ringen genom att stämpla ut SPE:erna som innehåller detaljplacerade ledningar inkl drivare + latchar.

    Över huvud taget verkar vi gå ganska snabbt mot switch fabrics och avancerade kommunikationstekniker internt på chip snarare än rena bussar. ARMs AXI är ett exempel. Det man kan fundera på är när vi börjar se snabba seriella protokoll motsvarande PCIe, Serial RapidIO, HT internt på chip, iaf mellan cores.

    Ett annat ställe där det händer mycket är mellan chip på kort. Exempelvis Xilinx Aurora-teknik och Alteras motsvarighet som ger mycket hög bandbredd med låg latens och overhead. Ett annat exempel är Interlaken-protokollet:

    http://en.wikipedia.org/wiki/Interlaken_(networking)

    Det som borde inträffa, och här är väl du experten, att vi får NUMA-system med extremy hög bandbredd och låg latens mellan flera core on-chip, något sämre mellan chip och sedan mycket sämre bandbredd och hög latens mellan pizzaboxarna som kopplas samman via xGE.

    Detta naturligtvis för lämplig shared mem abstraktion ovanpå message passing system på hela systemet. Eller får man UMA/NUMA på chip- och kortnivå, dvs där skippar man abstraktionslagret. Men när man sedan måste prata med andra enheter blir det message passing.

    ... Erkänner att jag alltid varit soft för COMA som idé... 😉

Leave a Reply

You must be logged in to post a comment.