Aankoopgids: storage en virtualisatie servers

Door analog_ op donderdag 21 februari 2013 10:55 - Reacties (23)
Categorieën: hardware, netwerk, opslag, virtualisatie, Views: 3.393

Inleiding


Het doel van dit document was voor mij een samenvatting te maken van de markt in de loop van december 2012. In tegenstelling tot de officiële Tweakers.net BBG artikels is dit document breder van opzet. Er worden meer alternatieven aangedragen en keuzes overgelaten aan de lezer. Het is geschreven vanuit het standpunt dat je al weet wat voor home server architectuur je wilt gaan gebruiken.

Bijvoorbeeld: ESXi virtualisatie server op lokale RAID 1 SSD volume. Een OpenIndiana virtuele machine met 15TB RAID 5 of 6 volume met schijven bereikbaar via VT-d naar een harde schijf controller.

Dit document is samengesteld uit mijn eigen kennis, de inhoud van Zuinige ESXi Server, Storage showoff topic - 10+ TB storage systems, Nieuwe Zuinige Server (discussie), Het grote ZFS topic, Het grote DIY RAID NAS topic deel 3, BBGThuisserver januari 2013. Een aantal DM uitwisselingen met CiPHER, FireDrunk, mux en -The_Mask-.

Dit is mijn opinie die ik gevormd heb op basis van bovenstaande bronnen. Ik spreek namens mezelf en verleen uiteraard geen garanties ;)

Mini


Een toestel op basis van een micro-ITX moederbord met ongeveer maximum zes harde schijven. Uitbreiding mogelijkheden zijn beperkt maar er is veelal één PCI-e slot beschikbaar. De keuze valt al snel bij een netwerk interface of controller voor opslag zodat je meer SAS/S-ATA poorten verkrijgt of sneller (bv. 8x SATA-600). Dit combineert best met 2.5" opslag media of een grotere case wat een mooi upgrade pad is voor in een later stadium.

Behuizingen

De keuze van een behuizing is voornamelijk een kwestie van smaak, een klein overzicht van de m-ITX behuizingen welke bovengemiddeld veel harde schijven kunnen herbergen.

http://ic.tweakimg.net/ext/i/1338979842.jpeg
http://ic.tweakimg.net/ext/i/1313501854.jpeg
http://ic.tweakimg.net/ext/i/1274089261.jpeg
6x 3.5", 2x 2.5", 2x 5.25"
7x 3.5"
6x 3.5", 1x 2.5", 1x 5.25"
€105
€105
€90


http://ic.tweakimg.net/ext/i/1337939402.png
http://ic.tweakimg.net/ext/i/1271064149.jpeg
2x 3.5", 3x 3.5" of 5x 2.5", 2x 2.5",1x 5.25"
6x 3.5"
€70
€130


Moederborden

Voor wie een zuinige en stille oplossing zoekt is de Asus C60M1-I ideaal met een ingebouwde dual core 1GHz processor en zes SATA-600 poorten. Daarnaast is er nog ruimte voor een serieuze (hardware) raid-controller of netwerk kaart. Indien er net iets meer jus-de-performance nodig is kan je kijken naar een oplossing met de MSI H61I-E35 (B3). Dit moederbord heeft twee SATA-300, twee SATA-600 poorten en één pci-e x1 slot maar is eerder al door mux aangeprezen vanwege zuinigheid op zijn blog) en laat je toe een zwaardere processor te gebruiken (zonder VT-d ondersteuning).

http://ic.tweakimg.net/ext/i/1340981856.jpeg
http://ic.tweakimg.net/ext/i/1303905732.jpeg
Dual core 1GHz, 2x DDR3
socket 1155, 2x DDR3
6x SATA-600
4x SATA-300
PCI-e 2.x 4x
PCI-e 2.x 1x
1x 1Gbit
1x 1Gbit
€65
€65


Tussen de ASRock B75M-ITX en H77M-ITX is er weinig verschil op het eerste oog, het aantal SATA-600 poorten varieert en de prijs. Als alternatief is er nog de Gigabyte GA-B75N (€80) welke twee gigabit poorten heeft en de Asus P8H77-I (€90) die vier SATA-300 en twee SATA-600 poorten combineert met een hoger stroom verbruik. Onderstaande moederborden ondersteunen allen VT-d. De ASRock bordjes hebben ook praktische under/overclock instellingen zodat je het verbruik nog wat kan omlaag tweaken. De Intel S1200KPR ondersteunt unbuffered ECC geheugen voor Xeon processors.

http://ic.tweakimg.net/ext/i/1339429021.jpeg
http://ic.tweakimg.net/ext/i/1339169534.jpeg
http://ic.tweakimg.net/ext/i/1355932026.jpeg
socket 1155, Intel B75, 2x DDR3
socket 1155, Intel H77, 2x DDR3
socket 1155, Intel C206, 2x DDR3
3x SATA-300, 1x SATA-600
2x SATA-300, 2x SATA-600
2x SATA-300, 2x SATA-600
PCI-e 3.x 16x
PCI-e 3.x 16x
PCI-e 2.x 16x
1x 1Gbit
1x 1Gbit
2x 1Gbit
€75
€85
€150


ESXi

Wat betreft netwerk poorten gebruikt de Asus C60M1-I een Realtek 8111F chipset. De ASRock en MSI borden zijn voorzien van een Realtek 8111E chip. Er is geen officiële ondersteuning voor de 8111E of F onder ESX. Afhankelijk van het gebruikte moederbord zijn er werkende configuraties gemeld met community drivers (Pantagruel). Op het Intel S1200KPR vinden we een Intel 82574L en Intel 82579LM NIC aan. De 82579LM is niet officieel ondersteunt en de 82574L werkt native out-of-the-box met ESXi. Alle onboard sata poorten op deze moederborden werken met ESXi in AHCI mode, dus geen fake-raid. Het is vrij zeker onmogelijk om ze te benutten in combinatie met VT-d.

Midi


Een toestel op basis van een micro-ATX moederbord met ongeveer maximum acht á twaalf harde schijven. Uitbreiden kan met een aantal PCI-e sloten. Upgraden is eenvoudig met een grotere behuizing, opslag of netwerk controllers en harde schijven.

Behuizingen

In het micro ATX formaat is er een veel groter aanbod dan in mini ITX. Zoals eerder, kasten zijn persoonlijk en dit is een klein overzicht met populaire keuzes. De Fractal Design Arc Midi heeft nog een kleinere broer Fractal Design Arc Mini (€70) welke zes keer 3.5" herbergt.

http://ic.tweakimg.net/ext/i/1336572033.jpeg
http://ic.tweakimg.net/ext/i/1328720178.jpeg
http://www.maximumpc.com/files/u139222/fractalarcmidi.jpg
8x 3.5", 3x 5.25"
2x 2.5", 5x 3.5", 3x 5.25"
8x 3.5", 2x 5.25"
€45
€50
€85


Moederborden

De selectie in micro ATX formaat rust op de uitbreiding slot configuratie (PCI-e lanes) en het aantal netwerk en opslag aansluitingen. De ASRock B75 Pro3-M is een zeer populair bordje in de tweakers kringen. Beide borden van ASRock hebben twee extra SATA-600 poorten door middel van een extra Asmedia 1061 controller. Ze beschikken ook over de eerder vermelde underclocking/undervolting mogelijkheden. De Intel Desktop Board DQ77MK gebruik de Q77 workstation chipset met vPro functionaliteit en indirect daarmee dus iKVM.

http://ic.tweakimg.net/ext/i/1345818261.jpeg
http://www.asrock.com/mb/photo/H77%20Pro4-M.jpg
http://ic.tweakimg.net/ext/i/1338988276.png
socket 1155, Intel B75, 4x DDR3
socket 1155, Intel H77, 4x DDR3
socket 1155, Intel Q77, 4x DDR3
5x SATA-300, 3x SATA-600
4x SATA-300, 4x SATA-600
mSATA, 3x SATA-300, 2x SATA-600
2x PCI, PCI-e 2.x 16x, PCI-e 3.x 16x
PCI-e 2.x 1x, 2x PCI-e 2.x 16x, PCI-e 3.x 16x
PCI, PCI-e 2.x 1x, PCI-e 2.x 4x, PCI-e 3.x 16x
1x 1Gbit
1x 1Gbit
2x 1Gbit
€60
€70
€125


ESXi

Beide ASRock moederborden maken gebruik van de Realtek 8111E chipset welke niet officieel wordt ondersteund maar vaak werkend te krijgen is met community drivers (Pantagruel). Het Intel DQ77MK plankje maakt gebruik van Intel 82579LM en Intel 82574L controllers. De 82579LM is niet officieel ondersteunt (wel met community drivers) en de 82574L werkt native out-of-the-box.

Alle onboard Intel storage controllers werken onder ESXi in AHCI mode. De op de ASRock aanwezige extra ASM1061 controller wordt ondersteunt in AHCI mode maar kan niet altijd gebruikt worden in combinatie met VT-d.

Maxi


Deze configuratie zou niet misstaan in de gemiddelde MKB/KMO. Vanaf twaalf harde schijven in tower of rack formaat met out of the box ondersteuning voor dedicated virtualisatie platformen.

Behuizingen

Elke vorm van bigtower met genoeg ruimte voor harde schijven volstaat. Er zijn teveel producten in de tower klasse die classificeren, dus voornamelijk een selectie van rack behuizingen. Als alternatief is er nog de Norcotek RPC-4220 (€450) welke in 4U 20x 3.5" (SAS) en 2 x 2.5" (non-hotswap) ondersteunt. Soms is het ook mogelijk Supermicro, Chenbro of Chieftec rack behuizingen te vinden. Aangezien deze producten zeer slecht vertegenwoordigt zijn in de t.net/pw houw ik het hierbij.

http://ic.tweakimg.net/ext/i/1342778579.jpeg
http://ic.tweakimg.net/ext/i/1315556894.jpeg
http://ic.tweakimg.net/ext/i/1330938739.jpeg
2x 2.5", 8x 3.5", 2x 5.25"
16x 3.5" (SAS), 2x 5.25" in 4U
24x 3.5"(SAS) in 4U
€95
€420
€490
De Norcotek producten zijn zeer slecht verkrijgbaar volgens de pricewatch, Ri-vier heeft zo onder andere.

Moederbord

Beide moederborden komen met dezelfde chipset. Het grote verschil zit in de gebruikte netwerk controllers. Het Supermicro X9SCM-F plankje maakt gebruik van Intel 82579LM en Intel 82574L controllers. De 82579LM is niet officieel ondersteunt en de 82574L werkt native out-of-the-box. Terwijl de vernieuwde Supermicro X9SCM-IIF gebruikt maakt van twee native ondersteunde Intel 82574L controllers. Je moet dus afwegen of het prijs verschil je onofficiële community drivers tegenover out-of-the-box ondersteuning waard is. Bij Supermicro zijn de moederborden die eindigen op -F uitgerust met een onboard video chip welke te bereiken is over iKVM via een web-interface. De server chipsets betekenen ook ondersteuning voor Intel Xeon processors, VT-d en tot maximum 32GB ECC unbuffered geheugen.

http://ic.tweakimg.net/ext/i/1297268630.jpeg
http://ic.tweakimg.net/ext/i/1351162362.jpeg
socket 1155, Intel C204, 4x DDR3
socket 1155, Intel C204, 4x DDR3
4x SATA-300, 2x SATA-600
4x SATA-300, 2x SATA-600
2x PCI-e 2.x 4x, 2x PCI-e 3.x 8x
2x PCI-e 2.x 4x, 2x PCI-e 3.x 8x
2x 1Gbit
2x 1Gbit
€175
€205


Voeding


Over voedingen valt er vanuit een gebruikersperspectief weinig meer te zeggen dan: hij is zuinig, mooi, stil of heeft veel aansluitingen. Uiteindelijk zijn er maar twee voedingen werkelijk relevant voor deze gids: be quiet! Pure Power L7 300W welke door zijn lage prijs en relatief aardige kwaliteit de beste instapper vormt momenteel. Door zijn prijs is het zelfs economisch gunstiger dan een pico-psu voor sub 30W systemen (en eindig je niet met een leeg gat waar je voeding had moeten komen).

De volgende logische stap is de Seasonic G-Serie 360Watt. Deze voeding is van betere bouw kwaliteit en kan zonder staggered spin-up vermoedelijk een 10 tot 12-tal disks aansturen. Als alternatief kan er gekeken worden naar de Super Flower Golden Green SF-400P14XE, LC-Power LC9450 en be quiet! Straight Power E9 400W welke zich allemaal in dezelfde prijs/kwaliteits klasse bevinden.

ProductPrijs
be quiet! Pure Power L7 300W€ 37,95
be quiet! Straight Power E9 400W€ 64,50
LC-Power LC9450€ 62,10
Seasonic G-Serie 360Watt€ 61,-
Super Flower Golden Green SF-400P14XE€ 64,80


http://ic.tweakimg.net/ext/i/1314351912.jpeg
Silverstone SST-CP06, €9
Meer s-ata stroom stekkers nodig? Erg stevig en stroef, maar duur voor wat het is.


Processors


De keuze van processor leunt voornamelijk op prijs, performance, verbruik en geboden functionaliteit. In eerste instantie is er gekozen om per 'feature' een processor te selecteren die de beste performance/prijs biedt. De laatste twee generaties van Intel zijn in meer of mindere mate zuinig dus kunnen we in de beslissing achterwege laten.

Systemen welke primair voor opslag dienen hebben weinig processor kracht nodig, vermoedelijk komt de meerderheid toe met een simpele dual core zolang het toestel benaderd wordt via een gigabit netwerk. De ultieme instap processor is de Celeron G550 welke voor weinig geld een dual core biedt met ondersteuning tot 1333MHz geheugen. Als het wat meer mag zijn kan je upgraden naar een Intel Pentium G860 welke met name meer cache en MHz'en oplevert. Als het toestel meer moet doen dan opslag zoals (bv. lichte virtualisatie taken, Microsoft Exchange, ...) kan je kijken naar de Intel Core i3 3220 met Hyper-threading, vier virtuele cores aanbied en geheugen op 1600MHz aanstuurt.

Als je van plan bent in de weer te gaan met dedicated virtualisatie platformen (Xenserver, ESXi, Hyper-V, ...) is het vaak interessant om gebruik te kunnen maken van VT-d zodat je PCI-e kaarten kan doorgeven aan je virtuele machines. De goedkoopste oplossing is de Intel Core i5-3330, een drie gigahertz quad-core met VT-d voor een interessante prijs.

Om je server op afstand te besturen kan je gebruik maken van dedicated oplossingen in het moederbord zoals bij Supermicro, HP, Dell. Tegenwoordig voorziet Intel het vPro platform in AMT. vPro eist bepaalde processors in combinatie met een workstation chipset. De i5-3470 is een quad core op 3.2GHz en doet het zonder Hyper-threading maar heeft wel Intel vPro (iKVM) en VT-d.

ProductSpecificatiesScoreFeaturesPrijs
Intel Celeron G550 Boxeddual 2.6 GHz, 2MB, 1066MHz, 65W2387€40
Intel Pentium G860 Boxeddual 3 GHz, 3MB, 1333MHz, 65W2888€60
Intel Core i3 3220 Boxeddual 3.3 GHz, 3MB, 1600Mhz, 55W4254HT€100
Intel Core i5 3330 Boxedquad 3 GHz, 6MB, 1600Mhz, 77W5802VT-d€160
Intel Core i5 3470 Boxedquad 3.2 GHz, 6MB, 1600Mhz, 77W6654VT-d, vPro€175
Intel Xeon E3-1230V2 Boxedquad 3.3GHz, 8MB, 1600Mhz, 77W9217HT, VT-d, vPro, ECC€200
bron, HT, vPro, VT-d, ECC. De score kolom komt van passmark en geeft een aardige indicatie hoe de processoren tot elkaar verhouden.

Opmerking Inmiddels is er de nieuwe generatie Ivy Bridge Celerons uitgekomen welke een bijzonder interessante prijs/prestatie verhouding toevoegt. Zodra de verkrijgbaarheid beter wordt zal deze de G550 en G860 vervangen.

ProductSpecificatiesScoreFeaturesPrijs
Intel Celeron G1610 Boxeddual 2.6GHz, 2MB, 1333MHz , 55W2668€40


Geheugen


Wat betreft geheugen is de kwestie vrij simpel. Koop het simpelste, goedkoopste geheugen dat voldoet aan wat de processor nodig heeft. Soms kan het interessant zijn om low-voltage geheugen te gebruiken maar vaak zijn deze dermate duurder dat het economisch niet rendeert Veelal kan je standaard modules ook underclocken. Vergeet niet dat Xeon processors enkel ecc-udimm's slikken.

De grote hangt voornamelijk af van je toepassing. 4GB is genoeg als je van plan bent een opslag machine met linux software raid te maken. Als je meer wilt dan alleen bestanden delen op het netwerk zal je ook meer geheugen moeten voorzien. Aangezien we momenteel in een goedkope-geheugen periode zitten zou ik eerlijk gezegd niet onder de 16GB gaan (dit geldt zeker voor ZFS en virtualisatie).

Omdat de prijs van geheugen dagelijks schommelt ga ik hier geen advies geven. Ik gebruik volgende werkwijze: ondersteunt het moederbord de hoeveelheid, voltage, type (ECC/registrered) en snelheid van de latten. Vervolgens zoek ik het goedkoopste paar van een degelijk merk. Kingston, Corsair, Crucial, ... en gebruik dat.

Er lopen momenteel twee grote stromingen binnen tweakers: langs de ene kant ervaart men dat uitgefaseerd geheugen ontzettend duur wordt na verloop van tijd (momenteel DDR2). Deze groep koopt liefst een uitmaxte geheugen configuratie. Een ander deel koopt koopt liever geleidelijk aan geheugen naar mate het goedkoper wordt of de nood er is.

Opslag


Net zoals bij geheugen gebruik je best zo weinig mogelijk harde schijven vanwege stroom verbruik en lawaai. Voor een storage server zijn er twee dingen relevant: OS moet ergens op worden geslagen en je data, bij virtualisatie komen er nog virtuele machines bij.

Populaire keuzes voor het OS zijn kleine SSDs, oude rondslingerende laptop schijven of USB sticks. De common-factor is geen-tot-nauwelijks-kosten, verbruiken allen weinig en ze hoeven niet snel te zijn. Servers zijn immers niet gemaakt om te rebooten á volonté. USB sticks hebben wel als nadeel dat ze niet onbeperkt beschreven kunnen worden en je er vanuit moet gaan dat ze sowieso zullen falen. Tegenwoordig zie je meer en meer producten zoals ESXi, FreeNAS, pfSense, ... die geoptimaliseerd voor USB gebruik zodat de sticks langer leven.

Voor data opslag wordt er vaak gebruik gemaakt van meerdere volumes. Op die manier kunnen bepaalde volumes de schijven in spin-down brengen tijdens inactieve periodes. Vaak wordt een always-on actief volume gebruikt voor onvolledige downloads, virtuele machines, scratch en tmp mappen... Op het archief volume staan veelal grote collecties media data die na een bepaalde tijd weer in spin-down gaan.

Harde schijven

Software RAID oplossingen gebruiken best gewone consumenten disks zoals de Seagate Barracuda 7200.14 ST3000DM001, 3TB. Welke disk je exact neemt hangt vooral af van formaat, betrouwbaarheid (Hitachi), garantie, verbruik en prijs. Momenteel hangen de 3TB in de sweet price spot, als je een zuinigere constructie wilt bouwen kan je kijken naar 4TB schijven. Bijvoorbeeld een RAID1 volume met twee 4TB schijven in plaats van een RAID 5 constructie met drie keer 3TB.

Als je hardware RAID gaat gebruiken kan je best zoeken naar schijven met TLER ondersteuning of schijven waarop je dit zelf kan inschakelen. Ik ben zelf niet zo bekend met enterprise s-ata schijven maar ik weet dat de WD Black reeks het by default heeft en de Red reeks soms (of kan worden ingeschakeld).

SSD

Wat betreft SSDs zijn het de usual suspects. De Crucial m4 en Samsung 830/840 (Pro) zijn uitstekende reeksen. Als je specifiek zoekt naar een write-cache SSD (ZFS, bcache, Intel SRT, ...) kan je best een factor tien overboeken op MLC producten of een SLC product zoeken.

Bepaalde SSD reeksen zoals de Intel 320 lijn hebben een super-capacitor die dient als backup stroomvoorziening voor als de voeding of stroomnet ermee kapt. Het voordeel is dat de vluchtige write-buffer op de SSD nog weggeschreven kan worden naar de schijf zodanig dat er geen data verlies optreed. Dit is extra relevant bij write-caching SSDs omdat deze de laatste paar seconden aan weggeschreven data bevatten.

Controllers

Op tweakers zijn controllers op basis van LSI chipsets zijn zeer populair. De voornaamste reden zijn de goede prestaties en driver support gecombineerd met aantrekkelijke prijzen. Voor de tweedehands mensen onder ons vertaalt dit zich in zeer interessante tweedehands markt (oa ebay, t.net/VA).

Zoals eerder is de markt opgedeeld in simpele HBAs voor de mensen uit het software RAID kamp en serieuze SAS RAID controllers voor hardware RAID liefhebbers. De kaart die beide markten verenigd en tevens ook de meest prestigieuze/gewilde/aangebeden controller is op basis van de LSI 2008 chipset. LSI maakt ze in verschillende (interne/externe) smaken tot 4 mini-sas aansluitingen (16 devices en dan kan je nog met extenders werken). De meesten onder ons hebben de twee poort variant (8 devices). De kaart heeft twee firmwares: IT voor simpele HBA functionaliteit en IR voor RAID 0 en 1. Het leuke aan de IR firmware is dat deze ondersteunt wordt door oa. ESXi. Optioneel is er een RAID 5 key maar ik ken niemand in de praktijk met deze opstelling. Er zijn meerdere fabrikanten die stickers plakken op de modellen van LSI zoals IBM, HP en Dell (Overzicht van LSI 2008 controllers op STH, STH Forum). De LSI 2008 kaart ondersteunt tot SATA-600 terwijl zijn voorganger (ook populaire) LSI 1068 bij SATA-300 stopt en maar ondersteuning heeft tot maximum 2TB.

http://ic.tweakimg.net/ext/i/1310653944.png
http://ic.tweakimg.net/ext/i/1317386828.jpeg
RAID 0, 1, twee mini-SAS connectors in PCI-e 2.x 8x
RAID 0, 1, twee mini-SAS connectors in PCI-e 2.x 8x
€210
€130


Uiteindelijk is LSI het merk dat het meest consistent is met hardware ondersteuning, betrouwbaarheid en garantie en stabiele performantie. In het verleden was Areca nog een leuke speler (vooral in de S-ATA RAID markt), over Highpoint zal ik kort blijven: er is geen enkele controller die niet subpar performed, de driver support is systematisch minder dan LSI en veel modellen lijken op hardware RAID maar zijn het niet. Er is geen rationele reden (voor mij) om een Highpoint boven een LSI te verkiezen.

http://ic.tweakimg.net/ext/i/1259765391.jpeg
http://ic.tweakimg.net/ext/i/1340889380.jpeg
RAID 0, 1, 5, 6, 10, 50, 60, DDR2 512MB, BBU, twee mini-SAS connectors in PCI-e 2.x 8x
RAID 0, 1, 5, 10, 50, DDR2 256MB, twee mini-SAS connectors in PCI-e 2.x 8x
€440
€180


De IBM M5014 kan tevens weer uitgerust worden met een RAID key welke ondersteuning voor RAID 6 en 60 toevoegt, zoals eerder ken ik niemand die dit gebruikt. Er zijn een aantal variaties met meer of minder interne/externe poorten, RAM en/of BBU ondersteuning. Bijvoorbeeld de LSI 9266-8i of IBM M5015.

Recentelijk zijn in discussies op het forum nog twee andere producten naar boven gekomen. Sommige mensen willen enkele non-RAID SATA poorten realiseren onder ESXi met goedkopere oplossingen. Uit eigen ervaring ondersteunt ESXi de silicon image (sil)3112 en 3114 kaartjes in PCI en PCIe met twee of vier s-ata poorten. De Conceptronic PCI Express Card SATA 600 werkt met een Asmedia 1061 chipset en zou ook ondersteunt worden. Er wordt momenteel ook gezocht naar mini-PCIe kaartjes met ASM1061 chips.
http://www.verkkokauppa.com/files/images/96/2_71707-450x445.gif

3Ware 3Ware Multi-lane SATA Cable, €16
Vergeet niet je mini-sas naar s-ata kabels te kopen.


Netwerk


Netwerk producten zijn typisch onderdelen die zelden overlijden en vaak een jarenlang meegaan. Ik raad iedereen aan om zoveel mogelijk netwerk producten tweedehands te kopen omdat de nieuwprijs vaak exorbitant hoog is voor consumenten gebruik. Er zijn twee redenen waarom je meer dan één netwerk poort wenst op een machine: bandbreedte of scheiding van twee netwerken segmenten.

Bandbreedte

De meeste moederborden hebben maar één netwerk kaart dus zal je een insteek kaart moeten zoeken. In tegenstelling tot bij desktops is de keuze van je netwerk kaart en met name de gebruikte chipset ervan wel belangrijk. Vrijwel elke netwerk kaart die je kan vinden zal werken onder Windows of Linux maar dit is vaak niet het geval voor de wat meer 'exotische' besturingssystemen (ESXi, *BSD, Solaris derivaten, XenServer, ...). Gelukkig brengt Intel al enkele decennia uitstekende netwerk kaarten uit met prima ondersteuning.

Voor meer effectieve bandbreedte kan je gebruik maken van trunking/etherchannel/LACP/... (kies de afkorting naar gelang je favoriete fabrikant). Merk op dat dit zelden de bandbreedte tussen twee machines verhoogt maar vooral in meer-op-één (of meer-op-meer relaties) situaties zoals clients en server. Afgelopen week liep t.net gebruiker Jacovn nog tegen de lamp en ontdekte dit helaas te laat (zoals de meerderheid van ons eerlijk gezegd). De exacte uitleg waarom één-op-één IP verbindingen niet profiteren van de beschikbare bandbreedte met trunking gaat buiten de scope van dit document, maar is helaas vaak werkelijkheid.

http://ic.tweakimg.net/ext/i/1253780559.jpeg
http://ecx.images-amazon.com/images/I/81I9muDQLNL._AA1500_.jpg
http://ic.tweakimg.net/ext/i/1344425921.jpeg
1x 1000T in PCI-e 1.x 1x
2x 1000T in PCI-e 1.x 4x
4x 1000T in PCI-e 2.x 4x
€24
€140
€280


Vanaf één poort is het interessanter om tweedehands te zoeken. Vergeet niet dat er vele OEM fabrikanten dezelfde Intel producten onder hun vlag uitbrengen welke zelfs nieuw minder kosten dan hun Intel varianten zoals HP, IBM, ...

http://ic.tweakimg.net/ext/i/1248337764.jpeg
http://ic.tweakimg.net/ext/i/1228825068.jpg
2x 1000T in PCI-e 1.x 4x
4x 1000T in PCI-e 1.x 4x
€80
€250


Scheiden

De simpelste oplossing is een netwerk kaartje bij plaatsen maar een managed switch gebruiken verhoogt je speelplezier met factor tien. Je kan dan gaan spelen met functies zoals VLANs en link aggregation, SNMP om leuke grafiekjes te maken...

Ik gebruik zelf twee fysieke en één virtuele router (met vyatta) die verbonden zijn met de netwerk stack door middel van twee gigabit interfaces met LACP. Op de routers wordt er gerouteerd tussen de verschillende VLANs (in mooi Cisco'ish: inter-vlan-routing) en ook de NAT/PPPOE connectie en IPv6 tunnel naar SIXXS.

Netwerk switches vallen een beetje buiten de scope van het document maar als snelle aanrader is er de fanloze OSI layer 2 HP Procurve V1810 reeks in 8 of 24 poorten (respectievelijk: €90 en €200). Andere fabrikanten in het prijs segment zijn Linksys, D-Link, Netgear, TP-Link en Cisco.

Expert lvl 10

Als je een stap hoger wilt gaan kan je overwegen met Fibre Channel te gaan spelen, tweedehands op marktplaats of ebay kan je 4Gbit single en dual port q-logic adapters vinden voor rond de $150. Een eenvoudigere (maar duurdere) techniek is 10Gbit over ethernet, je zal vooral adapters van Intel vinden en OEM varianten. Als je een beetje geluk hebt kan je een dual poort adapter vinden voor $400. Als laatste stap en techniek met de meeste bandbreedte is er Infiniband, het schaalt op tot 40Gbit tegenwoordig en je kan goedkoop ($50 zonder ESXi support) 10Gbit Mellanox adapters scoren en 20Gbit is ook niet veel duurder meer. Vergeet niet dat er ook serieuze kosten zitten in de gespecialiseerde bekabeling. Mits genoeg interesse zal ik hierop dieper ingaan.

Meer fysieke ruimte nodig?


Om extra ruimte te creëren voor harde schijven en SSDs zijn er vele opties en mogelijkheden (hot-swap of niet). Vaak wordt deze keuze op uiterlijk gemaakt, je kan alternatieven vinden bij Addonics, Chenbro, Chieftec, Supermicro, IcyDock, Startech, Raidsonic of Norcotek. Ook veel voorkomend is dat een bepaalde OEM een apparaaat bouwt en eerder opgesomde merken hun stickers erop plakken.

3.5"

Het enige wat groter is dan 3.5" is 5.25", gelukkig is een optische drive tegenwoordig meer een optioneel iets geworden. Ik persoonlijk bouw er geen meer in mijn toestellen en gebruik een externe USB optische drive. Daarnaast kan je de meeste besturingssystemen vanaf een USB stick booten.

http://ic.tweakimg.net/ext/i/1231150641.jpg
http://ecx.images-amazon.com/images/I/21lzaqaCUSL._SL500_AA300_.jpg
http://ic.tweakimg.net/ext/i/1267449886.jpeg
4x 3.5" in 3x 5.25"
5x 3.5" in 3x 5.25"
3x 3.5" in 2x 5.25"
€21
€70
€50

2.5"

Laptop formaat harde schijven zijn altijd al gemakkelijker weg te werken dan desktop. Er zijn een aantal zeer creatieve en high-density oplossingen binnen handbereik. Er wordt voornamelijk gebruik gemaakt van 5.25" slots maar er zijn een aantal hors d'œuvres. Als je van plan bent enkel SSD schijven te gebruiken kan je zoeken naar een passieve oplossing of een waarmee de ventilators afgezet kunnen worden. Niks weerhoud je natuurlijk van een DIY tweaker oplossing.

http://ic.tweakimg.net/ext/i/1332164399.png
http://ic.tweakimg.net/ext/i/1309881684.jpeg
http://www.avadirect.com/images/items/SAH-SMR-CSEM28E1.jpg
4x 2.5" in 1x 5.25"
6x 2.5" in 1x 5.25"
8x 2.5" in 2x 5.25"
€60
€60
/


Opmerking Momenteel is de 6x 2.5" in 1x 5.25" Sharkoon drive onbeschikbaar, enkele maanden geleden was dit het enige product in zijn klasse. Hopelijk komt dit product in de toekomst terug of stappen andere fabrikanten in. Voorts is ook de 8x2.5" in 2x5.25" oplossing van Supermicro niet beschikbaar in de t.net/pw. Vermoedelijk kan je deze wel bestellen bij Supermicro dealers, richtprijs is $260.

http://ic.tweakimg.net/ext/i/1301984231.jpeg
http://www.chieftec.eu/images/stories/produkte/accessories/backplane/atm-1322s/atm-1322s.png
http://ic.tweakimg.net/ext/i/1341311989.jpeg
1x 2.5" in 1x 3.5"
2x 2.5" in 1x 3.5"
2x 2.5" in 1x 5.25" en slimline optische drive
€5
/
€60


Opmerking De Chieftec ATM-1322S is helaas niet opgenomen in de Tweakers.net Pricewatch maar een dermate interessant product dat ik het moest vermelden. De richtprijs hangt rond de €25 (bron)

Als afsluiter is er Delock 2.5" SATA HDD Rack Bracket welke een IO-slot omtovert in een hotswap 2.5" bracket. Je verliest dan natuurlijk wel de mogelijkheid om een PCI(-e,x) kaart op dezelfde positie te steken.



ps. Na ongeveer twintig uur editen/typen/effectief-werken en wekelang topics doorlezen ben ik klaar. Het kan dat het nu wat aanvoelt als een half geaborteerde blob tekst, ik hoop dat jullie er doorheen kunnen/willen lezen. Ik weet niet of dit de meest zinvolle/praktische manier van bespreken is voor het t.net publiek maar ik sta open voor suggesties. Je kan mijn configuratie bekijken op mijn inventaris (zie britta, troy, abed). Verwacht binnenkort posts over (in voorlopige chronologische verschijning volgorde): kapotte laptop en Vyatta, mijn netwerk met HP/Ubiquiti, ... Infiniband, ZFS met SSDs, professionele tweedehands IT gear, ...

post-editum:
Als je 2.5" naar 3.5" adapters in hotswap brackets gaat monteren moet je ervoor zorgen dat je 2.5" device zijn s-ata en power connector netjes uitlijnt met de hotswap backplane, traditioneel betekend dat de 2.5" schijf niet midden gemonteerd mag worden maar langs een van de zijden moet hangen. bron.

De realtek 8111e op de Asrock H77 wordt out-of-the-box herkend in ESXi als realtek 8168 (een van hun eerste goedkope gigabit controller ontwerpen). Hij ondersteunt geen jumbo frames maar slikte wel trunks en VLANs. Ik vermoed dus dat het B75 bordje dus ook werkt.

Volgende: Acer Aspire 721 meets Vyatta router 02-'13 Acer Aspire 721 meets Vyatta router
Volgende: Teaser - Buildlog (update) 11-'12 Teaser - Buildlog (update)

Reacties


Door Tweakers user mkool89, donderdag 21 februari 2013 11:23

Bedankt voor je inzet ! leerzame en interessante blog! Ik heb hem met veel plezier gelezen!

Ik heb zelf ook net een home ESXI servertje gebouwd en moet deze nog uitbreiden met een (Sata)RAID kaart. Ik heb zojuist veel handige info uit je blog kunnen halen, Ik heb deze blog in ieder geval gebookmarked!

Door Tweakers user masauri, donderdag 21 februari 2013 11:49

Ik vind het een heel aangename blog om te lezen en kan het zeker appricieren.
Ik kijk alvast uit naar je infiniband en ZFS met SSDs blog :p
Keep up the good work!

Door Tweakers user GrooV, donderdag 21 februari 2013 11:50

Interessante blog!

Door Tweakers user Prozaq, donderdag 21 februari 2013 11:55

Wat een geweldige post, precies wat ik nodig heb voor een projectje!

[Reactie gewijzigd op donderdag 21 februari 2013 11:56]


Door Tweakers user BlauwKeut, donderdag 21 februari 2013 12:12

Mooie post, veel nuttige info...

De Supermicro CSE-M35T-1 heeft wel maar maximaal een SATA I interface naar de disks blijkbaar. Had daar voor contact opgenomen en hun reactie was:
CSE-M35T Only Support SATA,
CSE-M35TQ will Support SATA, SAS I and SAS II
Weet alleen niet of dat veel uitmaakt voor een RAIDz1/2/3 qua performance?

Door Tweakers user i-chat, donderdag 21 februari 2013 13:53

en nog steeds missen we mATX formaat kasten die echt geschikt zijn voor dit werkt...

hoe typerend is het dat er bijv geen maxt variant is voor een antect 1200.. zelfde indeling maar een verdieping minder... ik zou zo'n ding direct nemen, omdat je in 5,25 inc bays dan altijd nog zelf kunt bepalen wat voor bevestigings materiaal je steekt... hotswap bays of gewone cages, en eventueel zelfs bays voor 2,5inc schrijven... ik zou er direct voor tekenen.

verder is dit natuurlijk een top blogje.. al moet ik dan direct zeggen dat ik het extreem jammer vind dat er voor dit soort blogs en discussies zo weinig ruimte is... blogs van jouw mux en de oveirge mensen raken binnen no-time overspoelt, en het got forum is zo groot, druk en algemeen dat ik er niet kom.. gewoonweg omdat draadjes al snel verzanden in ' amd / intel ati/nividia ssd merk a / ssd merk b...

verder staan er toch weer een hele meuk supper interessante dingen in... waarvoor mijn dank...

ik heb zelf trouwens behoorlijk goede ervaringen met de icybox producten, 3in2 of 4/5in3 sata3/sas met steeds 2sata poorten per disk (alleen voor sas)... hoewel ik eerlijk moet toegeven dat ik die sas constructie nog nooit heb uitgeprobeerd... door zowel gebrek aan sas schrijven als wel het feit dat ik weet of dit grapje met elk type sata poort kan..

[Reactie gewijzigd op donderdag 21 februari 2013 13:58]


Door Tweakers user Kecin, donderdag 21 februari 2013 14:09

Geweldige blog! Rating 5/5! Wauw.

Netjes, hier ga ik vanavond lekker voor zitten met een bak koffie. Thanks :)

Door Tweakers user darkmagic, donderdag 21 februari 2013 14:28

wellicht handig om, voor de mensen die even snel willen kijken, aan het eind de goedkoopste en duurste neer te zetten.

Door Tweakers user DRaakje, donderdag 21 februari 2013 18:38

Geheugen

Wat betreft geheugen is de kwestie vrij simpel. Gebruik zo weinig mogelijk bankjes vanwege stroomverbruik en uitbreiding mogelijkheden naar later toe. Koop het simpelste, goedkoopste geheugen dat voldoet aan wat de processor nodig heeft. Soms kan het interessant zijn om low-voltage geheugen te gebruiken maar vaak zijn deze dermate duurder dat het economisch niet rendeert Veelal kan je standaard modules ook underclocken. Vergeet niet dat Xeon processors enkel ecc-udimm's slikken.


Dit is imho slecht advies, geheugen heeft geen invloed op stroom verbruik (mux' blog: Mux' vragenuurtje 17/8/2012: hoe zuinig is geheugen?

Daarnaast kan je nu beter max hoeveelheid geheugen kopen omdat het nu waarschijnlijk op de laagste prijs zit. Je zal namelijk altijd zien dat als je wilt uitbreiden, dat juist dat geheugen amper nog gemaakt word omdat het vorige generatie was en dus duur is. (spreek uit ervaring)

Door Tweakers user i-chat, donderdag 21 februari 2013 18:54

DRaakje schreef op donderdag 21 februari 2013 @ 18:38:
Geheugen

Wat betreft geheugen is de kwestie vrij simpel. Gebruik zo weinig mogelijk bankjes vanwege stroomverbruik en uitbreiding mogelijkheden naar later toe. Koop het simpelste, goedkoopste geheugen dat voldoet aan wat de processor nodig heeft. Soms kan het interessant zijn om low-voltage geheugen te gebruiken maar vaak zijn deze dermate duurder dat het economisch niet rendeert Veelal kan je standaard modules ook underclocken. Vergeet niet dat Xeon processors enkel ecc-udimm's slikken.


Dit is imho slecht advies, geheugen heeft geen invloed op stroom verbruik (mux' blog: Mux' vragenuurtje 17/8/2012: hoe zuinig is geheugen?

Daarnaast kan je nu beter max hoeveelheid geheugen kopen omdat het nu waarschijnlijk op de laagste prijs zit. Je zal namelijk altijd zien dat als je wilt uitbreiden, dat juist dat geheugen amper nog gemaakt word omdat het vorige generatie was en dus duur is. (spreek uit ervaring)
absoluut eens, kijk maar eens naar de prijs van ddr2 nu, ik wilde van wat oude hardware een leuke zfs storage server bouwen, het trieste wil, dat ik een am2+ mobo heb, en maar 2 bankjes, nu mag ik kan kiezen: 2x 2gb (zonder mogelijkheden tot uitbreiden in de toekomst), of op zoek gaan naar een am3 moederbord en 4 bankjes ddr3 moeten kopen.

het stomste, een heel nieuw am3 bord, goedkoper dan 2 latjes ddr2 ....

Door Tweakers user HyperBart, donderdag 21 februari 2013 19:28

i-chat schreef op donderdag 21 februari 2013 @ 18:54:
het stomste, een heel nieuw am3 bord, goedkoper dan 2 latjes ddr2 ....
Keuze snel gemaakt toch dan!

Door Tweakers user mux, donderdag 21 februari 2013 19:32

Hehe... dit:
Na ongeveer twintig uur editen/typen/effectief-werken en wekelang topics doorlezen ben ik klaar. Het kan dat het nu wat aanvoelt als een half geaborteerde blob tekst, ik hoop dat jullie er doorheen kunnen/willen lezen. Ik weet niet of dit de meest zinvolle/praktische manier van bespreken is voor het t.net publiek maar ik sta open voor suggesties.
Is de reden waarom >50% van mijn blogs nooit gepubliceerd worden. Na tientallen uren onderzoek, schrijven en herstructureren is het nog steeds niet wat je wil en missen er dingen. BBGs zijn idioot tijdrovend om in je eentje te doen.

Aantal opmerkingen: over het geheugen is al het e.e.a. gezegd, en in het algemeen geldt: op elk consumentenbord is geheugen geen factor qua stroomverbruik. Pas als je het over serverborden gaat hebben zijn er merken die heel brak omspringen met RAM-verbruik, maar tegen de tijd dat je een dik serverbord nodig hebt hangen er zoveel HDDs aan dat dat ook niet meer uitmaakt.

Ook mis ik aanraders wat betreft voedingen en aangrenzende apparatuur. De blogpost is al behoorlijk lang (niet in negatieve zin bedoeld, het staat bomvol nuttige informatie), maar je kunt best wat mensen nog van dienst zijn met algemene aanraders qua voedingen, OS-schijven (veel kan vanaf USB booten, maar dat werkt niet altijd al te makkelijk out of the box [bijv. ESXi], nuttig om aan te stippen), iets meer uitbreiding op de HDDs en de afweging 3,5'<->2,5"<->SSD. Wellicht materiaal voor (een paar) nieuwe blogs?

Door Tweakers user analog_, donderdag 21 februari 2013 20:09

Het deel over geheugen hebben jullie beide gelijk over, ik zal dat nog wat rechttrekken. Eerlijk gezegd heb ik je post ook gelezen/gezien en weet ik niet waarom het erin terechtgekomen, ik had de informatie.

Ik ben zelf het minste blij met het hardeschijven/ssd/opslag gedeelte (controllers is goed genoeg). Ik zat echter met het probleem dat ik over opslag architectuur (raidset verhaal, devices afwegen, performance, filesystems, hw/sw raid, ...) met gemak nog een pagina of zes erbij kan typen.

Dit is nu in tekstvorm maar ik heb zoveel te vertellen dat ik aan het overwegen ben met screencap + voiceover te werken voor mijn netwerk architectuur verhaal. Dat zou het voor mij een stuk minder intensief maken (of een betere tekst editor zou al helpen).

Mocht dit genoeg input/discussie opleveren is het altijd mogelijk over een half jaar het opnieuw te doen maar dan meer bijgeschaafd. Zie het als een preview ;)

ps. voedingen staan erin, echter geen plaatjes.
Allen verwerkt, ik kan geen (tegen) bevestiging vinden van het KPR bordje en VT-d. Het lijkt mij namelijk erg sterk dat een server chipset (c206) geen VT-d zou ondersteunen omdat het toevallig mITX is.

[Reactie gewijzigd op donderdag 21 februari 2013 22:00]


Door Tweakers user Aike, donderdag 21 februari 2013 20:27

Geweldige blogpost. Heel compleet en leuk om te lezen. Kleine verbetering: de Intel S1200KPR heeft 4x SATA en niet 6x.

Door Tweakers user Pantagruel, donderdag 21 februari 2013 20:37

Een nette blog posting met heel wat info, hulde!

Mbt ESXi en de RealTek 8111E nic; itt wat je zegt doet deze het wel onder zowel ESxi 5 als 5.1, ESXi 5.1 ziet hem als 'Realtek 8168 Gigabit Ethernet'. Geen community drivers nodig of aanpassing van de ESXi install iso.

add: Ik zie dat de opmerking niet juist is verwerkt, voor de duidelijkheid, de RTL8111E werkt dus 'out of the box'.

[Reactie gewijzigd op vrijdag 22 februari 2013 10:24]


Door Tweakers user onox, donderdag 21 februari 2013 20:57

Aike schreef op donderdag 21 februari 2013 @ 20:27:
Geweldige blogpost. Heel compleet en leuk om te lezen. Kleine verbetering: de Intel S1200KPR heeft 4x SATA en niet 6x.
S1200KPR doet volgens mij ook niet aan vPro en ook niet aan vt-d.

Door Tweakers user Felyrion, vrijdag 22 februari 2013 16:41

Vijf sterren blog dit! Uitgebreid, interessant en informatief en leest ook prima weg, dank!

Door Tweakers user BeefHazard, vrijdag 22 februari 2013 17:54

Jij moet de officiële BBG's gaan schrijven!

Door Tweakers user analog_, zondag 24 februari 2013 04:52

mux schreef op donderdag 21 februari 2013 @ 19:32:
Hehe... dit:


[...]


Is de reden waarom >50% van mijn blogs nooit gepubliceerd worden. Na tientallen uren onderzoek, schrijven en herstructureren is het nog steeds niet wat je wil en missen er dingen. BBGs zijn idioot tijdrovend om in je eentje te doen.

[...]
Maak je geen zorgen, de volgende twee blogs zijn al af, maar afhankelijk van het onderwerp ben ik wel meer of minder gemotiveerd. Ook is deze blog niet alleen zwaar qua inhoud maar ook in blog ubb opmaak.

[Reactie gewijzigd op zondag 24 februari 2013 04:53]


Door Tweakers user Rooke, zondag 24 februari 2013 08:21

Pantagruel schreef op donderdag 21 februari 2013 @ 20:37:
Een nette blog posting met heel wat info, hulde!

Mbt ESXi en de RealTek 8111E nic; itt wat je zegt doet deze het wel onder zowel ESxi 5 als 5.1, ESXi 5.1 ziet hem als 'Realtek 8168 Gigabit Ethernet'. Geen community drivers nodig of aanpassing van de ESXi install iso.

add: Ik zie dat de opmerking niet juist is verwerkt, voor de duidelijkheid, de RTL8111E werkt dus 'out of the box'.
Geen bokkende nic meer sinds 01-02?

Door Tweakers user Pantagruel, maandag 25 februari 2013 09:02

Rooke schreef op zondag 24 februari 2013 @ 08:21:
[...]


Geen bokkende nic meer sinds 01-02?
Nope, waarschijnlijk een probleem geweest met de DHCP server. Sinds ik hem handmatig een IP heb toegekend is t goed.

Door Tweakers user analog_, maandag 25 februari 2013 14:26

Pantagruel schreef op maandag 25 februari 2013 @ 09:02:
[...]


Nope, waarschijnlijk een probleem geweest met de DHCP server. Sinds ik hem handmatig een IP heb toegekend is t goed.
Juist, dat was ook de reden waarom ik het aan de lezer tot nu toe wou overlaten. Ik kan binnenkort nog wel eens bevestigen met mijn eigen asrock h77 bord.

Door Tweakers user Rooke, woensdag 27 februari 2013 07:45

En ik met mijn asrock B75 itx bord :)

Reactie formulier
(verplicht)
(verplicht, maar wordt niet getoond)
(optioneel)

Voer de code van onderstaand anti-spam plaatje in: