preview: Hoe betrouwbaar is jouw SSD?

Door Darkstone op woensdag 27 juli 2011 19:19 - Reacties (28)
Categorie: -, Views: 6.977

Dit zijn de resultaten van mijn eerdere blog:
.: Doe mee aan het SSD betrouwbaarheidsonderzoek.
Als je die blog nog niet hebt gelezen. Doe dat dan eerst. Anders heeft het invullen ook weinig nut.


Zonder gekheid, hoeveel samples zijn er nu eigenlijk verzameld?
http://tweakers.net/ext/f/ojnMbqGVps6zT1kneDrg2ieY/full.png
In totaal zijn er 928 samples verzameld waarvan de meeste onder het merk OCZ en intel. De verrassende 3e is Crucial. Ik had Corsair eigenlijk op de 3e plek verwacht.

Volgende grafiek. Het aantal failures per merk. Voor de onwetenden, de keuzemogelijkheid was als volgt:
• No. The drive died.
• Yes, but i returned/RMA'd it for other reasons.
• Yes. Still working.
http://tweakers.net/ext/f/o04bEjs8FMWd1rcTJhlLErGu/full.png
Laat ik allereerst het volgende benadrukken: 77 is een sample size van.. helemaal niets. Hecht dan ook niet teveel waarde aan de statistieken van crucial, kingston, en corsair.
Ten tweede. Intel heeft veel meer failures dan uit de andere onderzoeken naar voren kwam. Binnenkort bekijken we welke drives zichzelf vroegtijdig hebben opgeblazen.

De derde grafiek heeft te maken met het aantal issues van de schijf. Nu moet ik bekennen dat dit achteraf gezien een tamelijk onzinnige statistiek is. Maar ik plak hem toch maar neer.
http://tweakers.net/ext/f/LJKdxmIm6PzTbT4y4RLgxAXu/full.png
Uit deze grafiek kunnen we concluderen dat intel meer moeite steekt in het testen van zijn firmware. Het groene gedeelte, wat het aantal gefixte issues vertegenwoordigd, is een stuk kleiner dan bij concurrent OCZ.

Dit is allemaal heel interessant maar.. We wisten al lang dat intel betrouwbaarder was dan OCZ, en de andere merken kunnen we nog geen conclusies over trekken. Hoe zit het dan met de individuele schijven? U vraagt. Wij draaien.
http://tweakers.net/ext/f/C32utjZmfwhQel64Ny3LxDHs/full.png
Dit plaatje is interessant omdat we hiermee kunnen beoordelen wat de meest populaire SSD's zijn. De intel 320 blijkt, gek genoeg, de meest populaire SSD die het afgelopen halfjaar is uitgekomen. De vertex 3, M4 zijn de runners-up.

Laat ik wederom even het volgende benadrukken: Een sample size van 40. Dat is gewoon te weinig. Ga daarom niet stellig beweren dat de vertex 3 MAX IOPS zeer betrouwbaar is. Dat valt nog niet te zeggen.
http://tweakers.net/ext/f/diggQbQJ7sriv7Qia617THoJ/full.png
Laten we eens goed kijken naar de 2 populairste drives op de markt. De X25-m en de vertex 2. Het word nu meteen duidelijk waarom intel zo'n goede reputatie heeft opgebouwd: Van alle geteste X25-M 'G2''s is slechts 1.2% teruggekeerd richting de fabrikant.
De vertex 2 laat een omgekeerd beeld zien: meer dan 10% van de drives vind zijn vroegtijdige dood. Als we een generatie terug gaan, naar de vertex 1 en X25-M 'G1' zien we hetzelfde beeld: intel is erg betrouwbaar. De vertex is vaker terug te vinden op de post.

Het word nu ook meteen duidelijk waarom intel als geheel gezien toch minder scoort dan gedacht. De nieuwe drives, de intel 320 en 510, blijken regelmatig te falen. Respectievelijk 4 en nog eens 4 keer.

En verder, het aantal issues:
http://tweakers.net/ext/f/O09tj3sSSi5qAEX5c4BiDA0I/full.png
Waaruit blijkt dat de meeste moderne drives (dus eigenlijk alles behalve de X25-M 'G1' en Vertex 1) niet veel last meer hebben van issues: Het meeste is al opgelost volgens de ondervraagde personen. En daarmee besluiten wij de preview van vandaag.

De volledige resultaten kun je verwachten over een week of 2. Ik gok dat we dan 3000 tot 4000 samples binnen hebben. Alle 928 samples tot nu toe zijn verzameld via tweakers.net.

Volgende: SSD betrouwbaarheidsonderzoek - De resultaten. 08-'11 SSD betrouwbaarheidsonderzoek - De resultaten.
Volgende: Doe mee aan het SSD betrouwbaarheidsonderzoek. 07-'11 Doe mee aan het SSD betrouwbaarheidsonderzoek.

Reacties


Door Tweakers user Darkstone, woensdag 27 juli 2011 21:08

Ik heb iig nog geen spijt van de aanschaf van mijn X25-M ;) Die gaat mij nog vele jaren dienen als ik de statistieken zo lees.

Door Tweakers user mendel129, woensdag 27 juli 2011 21:24

euhm, kan je die statistieken van betrouwbaarheid niet normaliseren ofzo?
nu lijkt het alsof ze nog steeds tov het aantal percentage markaanteel uitgezet zijn (wat waarschijnlijk ook wel zo is...)
maar dit vergelijkt niet echt zo handig...

Door Tweakers user Darkstone, woensdag 27 juli 2011 21:27

Alle grafieken zijn percentages, behalve diegenen die absolute getallen vertegenwoordigen (de eerste, en de 4e grafiek).

Dat betekent, als je naar de 2e grafiek kijkt, dat 5% van alle verkochte 'other' SSD's kapot zijn gegaan. Dat lijkt mij ook de manier waarop het moet.....

[Reactie gewijzigd op woensdag 27 juli 2011 21:29]


Door Tweakers user ZpAz, woensdag 27 juli 2011 21:29

Als ik de statistieken zo zie dan was mijn Agility 2 geen slechte aankoop. En hij was ook nog eens redelijk goedkoop voor de grootte die ik zocht (240GB). Ik ben dan ook tevreden!

Door Tweakers user Darkstone, woensdag 27 juli 2011 21:31

De agility 2 heeft 20 samples waarvan er een stuk is gegaan. Theoretisch zou deze echter precies even vaak moeten falen als de vertex 2 (Zelfde controller, zelfde firmware, alleen trager flash meen ik?). Zodra de sample size groter word zullen we dat zien.

Of niet natuurlijk ;) Dat is ook het hele punt van het onderzoek. Op dit moment kunnen we echter niet veel meer dan concluderen dat de vertex 2 onbetrouwbaar is, en de X25-m betrouwbaar. Ik verwacht zelf vergelijkbare getallen voor "current-generation" drives van diezelfde merken.

[Reactie gewijzigd op woensdag 27 juli 2011 21:45]


Door Tweakers user karstnl, woensdag 27 juli 2011 22:09

Ben er benieuwd wat je onderzoek naar boven brengt met alle samples.

Door Tweakers user Darkstone, woensdag 27 juli 2011 22:13

Klopt. Ik vraag me vooral af wat de vertex 3 nu gaat doen. De Vertex 3 en M4 zijn ongeveer even snel. De vertex is volgens de geruchten onbetrouwbaar. De M4 heel erg betrouwbaar. Maar is dat wel zo? Dat blijkt op dit moment nog niet.

Door Tweakers user 195780, woensdag 27 juli 2011 23:59

Dat kan niet kloppen, ik had zelf 430 OCZ's opgevoerd en daar is nooit iets mee aan de hand geweest. O-)

Maar serieus, kijk de spelling van Agility eens na. ;)
Uitstekend initiatief hoor en de "voorlopige" uitslagen zijn verrassend.

Door Tweakers user Qurius, donderdag 28 juli 2011 04:00

Dit zou eigenlijk frontpage aandacht moeten krijgen...

Door Tweakers user X-DraGoN, donderdag 28 juli 2011 08:53

Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
Net zoals % niet veel zegt als de getallen er achter niet ongeveer vergelijkbaar zijn. Maar dat is natuurlijk allemaal afhankelijk van welke info je binnen krijgen.


Leuk onderzoekje wel!

Door Tweakers user maniak, donderdag 28 juli 2011 09:24

oeps... ik had 48 maanden opgegeven, moet 24 maanden zijn :D

Door Tweakers user Darkstone, donderdag 28 juli 2011 11:03

X-DraGoN schreef op donderdag 28 juli 2011 @ 08:53:
Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
Nee. Als er 1000 X25-M's zijn verkocht en er gaan er 2 stuk kan je concluderen dat deze betrouwbaarder is dan het andere merk, waar er 200 van zijn verkocht en 1 stuk is gegaan.

De grafiek geeft het percentage van de verkochte merken/schijven welke kapot is gegaan volgens de personen die de survey hebben ingevuld.

Door Tweakers user DarkKnight, donderdag 28 juli 2011 11:11

X-DraGoN schreef op donderdag 28 juli 2011 @ 08:53:
Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
Net zoals % niet veel zegt als de getallen er achter niet ongeveer vergelijkbaar zijn. Maar dat is natuurlijk allemaal afhankelijk van welke info je binnen krijgen.

Leuk onderzoekje wel!
Absoluut gezien zullen er natuurlijk meer kapot kunnen gaan als er meer verkocht zijn. Maar daar heeft verhouding niets mee te maken. Als de schijven met hetzelfde procédé en dezelfde materialen worden gebouwd, zou verhoudingsgewijs het percentage uitval identiek moeten zijn. Dit is dus niet zo, dus zie je bijvoorbeeld dat Intel bijna evenveel is gekocht/gebruikt, maar percentueel een stuk minder uitval heeft dan OCZ.

Ik ben het wel eens dat je een redelijke sample size moet hebben om percentages te vergelijken, maar in het geval van Intel en OCZ zou je dat wel al enigszins kunnen doen.

Door Tweakers user KaptKoek, donderdag 28 juli 2011 13:40

Doe ook es een beetje statistiek. Varianties etc? Betrouwbaarheid. Je hebt namelijk vrij weinig samples, zeker voor drives die niet van Intel komen of niet Vertex zijn.

Door Tweakers user Darkstone, donderdag 28 juli 2011 13:49

Ik zeg ook meermaals dat er te weinig samples zijn om de betrouwbaarheid van bepaalde drives te beoordelen. Maar ik vind dat er genoeg samples zijn om de vertex 2 hard af te branden op dit moment. Veel mensen geloofden namelijk niet dat die drive significant onbetrouwbaarder is dan het intel aanbod (X25-m, intel 320). Nu hopelijk wel.

[Reactie gewijzigd op donderdag 28 juli 2011 13:54]


Door Tweakers user A_K, donderdag 28 juli 2011 13:50

Darkstone schreef op donderdag 28 juli 2011 @ 11:03:
[...]
Nee. Als er 1000 X25-M's zijn verkocht en er gaan er 2 stuk kan je concluderen dat deze betrouwbaarder is dan het andere merk, waar er 200 van zijn verkocht en 1 stuk is gegaan.
De sample size is te klein om dat te kunnen concluderen. Je kan het naar het idiote doorschuiven: als je van merk Z er 1 hebt gekocht en 0 stuk zijn gegaan, maakt dat merk Z niet 100% betrouwbaar. Daarnaast moet je eerst een hypothese opstellen, en dan pas naar de resultaten kijken, niet andersom.

Maar Darkstone, doe je ook iets met hoe lang een SSD op de markt is (langer op de markt=langer in gebruik=meer uitval bij gelijke betrouwbaarheid)? In het onderzoekje vraag je wel naar de gebruiksduur.

Door Tweakers user Darkstone, donderdag 28 juli 2011 13:55

Daar moet ik nog even naar kijken. Dit is nog maar een preview ;)

Door Tweakers user thefal, donderdag 28 juli 2011 17:54

Leuk onderzoekje!

Kleine spelfout: De versassende 3e is crucial -> De verassende 3e is Crucial

Door Tweakers user GijsW, donderdag 28 juli 2011 18:28

Heb er ook aan meegedaan. Mooi onderzoek! Mijn X25M 80GB doet het al meer dan een jaar en zit nu helaas in een andere PC. Heb nu een maand een Vertex 3 120GB maar heb daarmee nogal wat vastlopers en voelt lang niet zo snel aan als de Intel. Toch wel jammer dat de OCZ, die een stuk nieuwer is, toch niet beter werkt dat de eerste SSD's...

Door Ultraman, vrijdag 29 juli 2011 08:40

Kleine spelfout: De versassende 3e is crucial -> De verassende 3e is Crucial
Wanneer je er nog een "r" aan toevoegt is het pas correct qua betekenis.
"verassende" -> "verrassende". ;-)

Door Tweakers user FBratwurst, zondag 31 juli 2011 21:53

Mooi opgezet dit onderzoek. Heb er ook m'n bijdrage aan geleverd. Maar misschien is het ook wel iets te vroeg hiervoor. Velen hebben nog niet zo lang een SSD in bezit en voor echte betrouwbare resultaten moet je 'm toch al wat langer hebben draaien. Kijk maar naar 8 MB bug...

Door Tweakers user Darkstone, zondag 31 juli 2011 23:48

Ik verwacht inderaad niet een betrouwbaar beeld van de nieuwe schijven. Wel van de vorige generatie en hopelijk de marvel controller. Maar de sample size daarvan is te klein, jammer.

Door Tweakers user HMeijer, dinsdag 2 augustus 2011 22:22

Best een leuke opzet en complimenten daarvoor, maar wat is de meerwaarde van de grafieken als je zelf al aangeeft dat ze geen enkele indicatie van betrouwbaarheid kunnen geven?

In mijn ogen ga je de mist in wanneer je meerdere keren zegt dat de verschillende drives en merken niet vergelijkbaar zijn vanwege de sample size, maar onderlinge modellen vervolgens wel gaat vergelijken en "gevoelens" erbij haalt dat Intel betrouwbaarder zou zijn / meer tijd in firmware steekt. Je aanpak was veelbelovend tot dan toe en kwam wetenschappelijk over, jammer dat je toch hebt geprobeerd om conclusies te trekken terwijl dit nog niet kon. Op deze manier probeer je eerder gevoelens te verantwoorden met wat grafiekjes (gevoelens die zeer waarschijnlijk overigens terecht zijn), dan om wetenschappelijk onomstotelijk vast te stellen welke merken nou hoge failure rates hebben, welke drives je moet mijden enzovoort, iets dat volgens mij jouw onderliggende gedachte was om dit op te vangen met dit onderzoek.

Om toch maar een voorbeeld te geven van wat ik bedoel: je haalt meerdere keren aan dat je simple size veel te laag is en verkondigd in overeenstemming hiermee o.a. bij "percentage of returned SSD's" over het vergelijken van verschillende modellen: "Dat valt nog niet te zeggen. " Vervolgens ga je toch door om twee modellen eruit te halen en noem je zelfs een percentage van 1,2% (vanwaar deze significantie dan als de resultaten geenszins betrouwbaar zijn?). Dit wekt de illusie dat je niets onderling mag vergelijken, maar je mag wel even kijken naar de verschillen tussen bijvoorbeeld OCZ en Intel omdat iedereen al een onderbuikgevoel heeft dat Intel betrouwbaarder is.

Ik hoop dus dat je uiteindelijke onderzoek steekhoudend is en betrouwbare conclusies kan generen, iets wat onmogelijk is met de resultaten tot nog toe. Wellicht dat je deze tussentijdse publicatie toch online hebt gezet om meer mensen aan te moedigen om mee te doen met het onderzoek en alvast een voorproefje te geven. Uit ervaring kan ik je echter vertellen dat het voortijdig conclusies trekken voordat de echte resultaten binnen zijn erg schadelijk kan zijn, niet alleen voor de uitkomsten maar ook voor de betrouwbaarheid van het onderzoek. Hopelijk stap je dus niet in deze valkuil ;).

Door Tweakers user Darkstone, woensdag 3 augustus 2011 13:45

Ik vind een sample size van onder de pak-m-beet 100 te laag om conclusies over te trekken. In het geval van intel en OCZ, en de X25-m 'G2' en vertex 2 zou je dat al kunnen doen.

OCZ heeft ook al min of meer toegegeven dat een op de 10 drives defect terugkomt. Verschillende tweakers zijn ook al met hun 3e of 4e vertex (2) bezig.... Een defecte SSD van een ander merk heb ik nog niet vaak gezien. Dat schept al meteen het onderbuikgevoel dat intel betrouwbaarder is, iets wat we op dit moment terugzien om de resultaten.

Door Tweakers user Habana, zaterdag 6 augustus 2011 12:36

In de survey word gevraagd, hoelang je de SSD in bezit hebt.

Deze vraagstelling had moeten worden uitgebreid bij " is de drive still working"

Na de keuze, de vraag te stellen "How manny hours''

ik bedoel als je één SSD van Intel en één SSD van OCZ hebt, en geven beiden de geest,
zul je zeggen even goed even slecht.

Maar als de Intel na 7000uur de geest geeft en de OCZ na 100uur gebruik, is toch een wezenlijk verschil.

Door Tweakers user Darkstone, zaterdag 6 augustus 2011 13:39

Daar is de vraag "How long did you have this SSD in your possession?" voor. Dat indiceert het aantal maanden dat de drive goed heeft gewerkt. Met data preciezer dan maandan kan je toch weinig met de sample size die we op dit moment hebben.

Door Tweakers user _Arthur, zondag 7 augustus 2011 08:31

Was het nog je bedoeling het stukje in het Engels te schrijven? Of is dat voor het uiteindelijke stuk 'bewaard'? Zodat je een groter publiek bereikt en dus mogelijk een grotere sample size krijgt?

Door Tweakers user Darkstone, dinsdag 9 augustus 2011 21:41

Dat weet ik nog niet. De bedoeling is dat het na het uiteindelijke stuk niet meer mogelijk is om inzendingen te doen.

Reageren is niet meer mogelijk