Stilte voor de storm
Mijn laatste posting over dit onderwerp is al even geleden, eigenlijk heeft deze posting veel te lang op zich laten wachten! Dus, ik ga proberen er wat leuks van te maken, er is ook wel weer wat te melden! Vandaag (eigenlijk gisteren) moe(s)t de Release Candidate uitkomen, en het platform is inmiddels hoe we het wilden hebben.
De storage
Daar zit je dan, met 12TB raw-storage, verdeeld over 48 disken. Wat is nu de meest handige manier om dat in te delen zodat je wel veel IO kunt doen, maar dat het niet stuk gaat als er een disk stuk gaat? We hebben wat zitten stoeien met ZFS en dat ziet er erg leuk uit. Je kunt leuk pools aanmaken en het lijkt vrij goed te performen en te schalen. Maar we hebben er uiteindelijk toch voor gekozen om Ubuntu op de filer te installeren, daar zijn we toch meer in thuis.
We hebben nu dus een machine met 48 disken en 14(!) md-devices.
Het installeren van Ubuntu was trouwens nog niet zo makkelijk. Vind maar eens uit welke van de 48 disken de disken zijn die de bios wil gebruiken als boot-disk. Dus, na 46 disken uit de machine te hebben gehaald kwamen we er eindelijk achter dat we scsi24 en scsi28 moesten hebben.
Zoals je in de /proc/mdstat kunt zien hebben we ervoor gekozen om een RAID0-set te maken van alle RAID5-sets. RAID5 is prima om snel van te lezen, en door ze met RAID0 achter elkaar te plakken weet je vrij zeker dat de data verdeeld over de verschillende sets op disk staat. Met andere woorden: op deze manier hebben we de load vrij aardig verdeelt over de 46 beschikbare disken!
De webservers
De webservers was weer een heel ander verhaal. Aangezien Sparc-machines geen keyboard- of VGA-aansluiting hebben moet je dat op een hele andere manier installeren, namelijk via de ALOM interface. Hoe je dat precies kunt doen kun je lezen in deze Ubuntu install op Sparc howto.
De machines hebben verder een vrij simpele configuratie. Ze draaien een versie van Apache die threaded zijn werk doet, wat op de Sparc (die kunnen 32 threads draaien) erg goed uitkomt. We hebben een tijdje gedraaid met mod_cache ertussen, maar het lijkt erop dat dat niet erg veel toevoegt aan de caching die de Linux-kernel zelf al doet.
Dat de Linux-kernel prima cached is te zien aan de volgende twee grafieken:
De machine in de eerste grafiek handelt ongeveer net zoveel hits af als de machine op de tweede grafiek maar heeft minder memory (2GB tegenover 16GB). Je kunt dus goed zien dat de Linux-kernel een hoop data in RAM houd en het niet opnieuw van NFS af hoeft te halen.
Het platform
Het platform zoals verzonnen is op dit moment live, en handelt ongeveer 20 hits per seconde af. Terwijl ik dit schrijf is de announcement van de RC de deur uit, maar zijn de mirrors nog niet up2date. Zodra die dat wel zijn zullen we wel wat grafieken zien stijgen.
Wil je meer weten?
Of wil je een vrijblijvende rondleiding door onze datacenters? Neem dan contact met ons op via sales@bit.nl of 0318 648 688.