preview: Hoe betrouwbaar is jouw SSD?
Dit zijn de resultaten van mijn eerdere blog:
.: Doe mee aan het SSD betrouwbaarheidsonderzoek.
Als je die blog nog niet hebt gelezen. Doe dat dan eerst. Anders heeft het invullen ook weinig nut.
Zonder gekheid, hoeveel samples zijn er nu eigenlijk verzameld?
In totaal zijn er 928 samples verzameld waarvan de meeste onder het merk OCZ en intel. De verrassende 3e is Crucial. Ik had Corsair eigenlijk op de 3e plek verwacht.
Volgende grafiek. Het aantal failures per merk. Voor de onwetenden, de keuzemogelijkheid was als volgt:
• No. The drive died.
• Yes, but i returned/RMA'd it for other reasons.
• Yes. Still working.
Laat ik allereerst het volgende benadrukken: 77 is een sample size van.. helemaal niets. Hecht dan ook niet teveel waarde aan de statistieken van crucial, kingston, en corsair.
Ten tweede. Intel heeft veel meer failures dan uit de andere onderzoeken naar voren kwam. Binnenkort bekijken we welke drives zichzelf vroegtijdig hebben opgeblazen.
De derde grafiek heeft te maken met het aantal issues van de schijf. Nu moet ik bekennen dat dit achteraf gezien een tamelijk onzinnige statistiek is. Maar ik plak hem toch maar neer.
Uit deze grafiek kunnen we concluderen dat intel meer moeite steekt in het testen van zijn firmware. Het groene gedeelte, wat het aantal gefixte issues vertegenwoordigd, is een stuk kleiner dan bij concurrent OCZ.
Dit is allemaal heel interessant maar.. We wisten al lang dat intel betrouwbaarder was dan OCZ, en de andere merken kunnen we nog geen conclusies over trekken. Hoe zit het dan met de individuele schijven? U vraagt. Wij draaien.
Dit plaatje is interessant omdat we hiermee kunnen beoordelen wat de meest populaire SSD's zijn. De intel 320 blijkt, gek genoeg, de meest populaire SSD die het afgelopen halfjaar is uitgekomen. De vertex 3, M4 zijn de runners-up.
Laat ik wederom even het volgende benadrukken: Een sample size van 40. Dat is gewoon te weinig. Ga daarom niet stellig beweren dat de vertex 3 MAX IOPS zeer betrouwbaar is. Dat valt nog niet te zeggen.
Laten we eens goed kijken naar de 2 populairste drives op de markt. De X25-m en de vertex 2. Het word nu meteen duidelijk waarom intel zo'n goede reputatie heeft opgebouwd: Van alle geteste X25-M 'G2''s is slechts 1.2% teruggekeerd richting de fabrikant.
De vertex 2 laat een omgekeerd beeld zien: meer dan 10% van de drives vind zijn vroegtijdige dood. Als we een generatie terug gaan, naar de vertex 1 en X25-M 'G1' zien we hetzelfde beeld: intel is erg betrouwbaar. De vertex is vaker terug te vinden op de post.
Het word nu ook meteen duidelijk waarom intel als geheel gezien toch minder scoort dan gedacht. De nieuwe drives, de intel 320 en 510, blijken regelmatig te falen. Respectievelijk 4 en nog eens 4 keer.
En verder, het aantal issues:
Waaruit blijkt dat de meeste moderne drives (dus eigenlijk alles behalve de X25-M 'G1' en Vertex 1) niet veel last meer hebben van issues: Het meeste is al opgelost volgens de ondervraagde personen. En daarmee besluiten wij de preview van vandaag.
De volledige resultaten kun je verwachten over een week of 2. Ik gok dat we dan 3000 tot 4000 samples binnen hebben. Alle 928 samples tot nu toe zijn verzameld via tweakers.net.
.: Doe mee aan het SSD betrouwbaarheidsonderzoek.
Als je die blog nog niet hebt gelezen. Doe dat dan eerst. Anders heeft het invullen ook weinig nut.
Zonder gekheid, hoeveel samples zijn er nu eigenlijk verzameld?
In totaal zijn er 928 samples verzameld waarvan de meeste onder het merk OCZ en intel. De verrassende 3e is Crucial. Ik had Corsair eigenlijk op de 3e plek verwacht.
Volgende grafiek. Het aantal failures per merk. Voor de onwetenden, de keuzemogelijkheid was als volgt:
• No. The drive died.
• Yes, but i returned/RMA'd it for other reasons.
• Yes. Still working.
Laat ik allereerst het volgende benadrukken: 77 is een sample size van.. helemaal niets. Hecht dan ook niet teveel waarde aan de statistieken van crucial, kingston, en corsair.
Ten tweede. Intel heeft veel meer failures dan uit de andere onderzoeken naar voren kwam. Binnenkort bekijken we welke drives zichzelf vroegtijdig hebben opgeblazen.
De derde grafiek heeft te maken met het aantal issues van de schijf. Nu moet ik bekennen dat dit achteraf gezien een tamelijk onzinnige statistiek is. Maar ik plak hem toch maar neer.
Uit deze grafiek kunnen we concluderen dat intel meer moeite steekt in het testen van zijn firmware. Het groene gedeelte, wat het aantal gefixte issues vertegenwoordigd, is een stuk kleiner dan bij concurrent OCZ.
Dit is allemaal heel interessant maar.. We wisten al lang dat intel betrouwbaarder was dan OCZ, en de andere merken kunnen we nog geen conclusies over trekken. Hoe zit het dan met de individuele schijven? U vraagt. Wij draaien.
Dit plaatje is interessant omdat we hiermee kunnen beoordelen wat de meest populaire SSD's zijn. De intel 320 blijkt, gek genoeg, de meest populaire SSD die het afgelopen halfjaar is uitgekomen. De vertex 3, M4 zijn de runners-up.
Laat ik wederom even het volgende benadrukken: Een sample size van 40. Dat is gewoon te weinig. Ga daarom niet stellig beweren dat de vertex 3 MAX IOPS zeer betrouwbaar is. Dat valt nog niet te zeggen.
Laten we eens goed kijken naar de 2 populairste drives op de markt. De X25-m en de vertex 2. Het word nu meteen duidelijk waarom intel zo'n goede reputatie heeft opgebouwd: Van alle geteste X25-M 'G2''s is slechts 1.2% teruggekeerd richting de fabrikant.
De vertex 2 laat een omgekeerd beeld zien: meer dan 10% van de drives vind zijn vroegtijdige dood. Als we een generatie terug gaan, naar de vertex 1 en X25-M 'G1' zien we hetzelfde beeld: intel is erg betrouwbaar. De vertex is vaker terug te vinden op de post.
Het word nu ook meteen duidelijk waarom intel als geheel gezien toch minder scoort dan gedacht. De nieuwe drives, de intel 320 en 510, blijken regelmatig te falen. Respectievelijk 4 en nog eens 4 keer.
En verder, het aantal issues:
Waaruit blijkt dat de meeste moderne drives (dus eigenlijk alles behalve de X25-M 'G1' en Vertex 1) niet veel last meer hebben van issues: Het meeste is al opgelost volgens de ondervraagde personen. En daarmee besluiten wij de preview van vandaag.
De volledige resultaten kun je verwachten over een week of 2. Ik gok dat we dan 3000 tot 4000 samples binnen hebben. Alle 928 samples tot nu toe zijn verzameld via tweakers.net.
08-'11 SSD betrouwbaarheidsonderzoek - De resultaten.
07-'11 Doe mee aan het SSD betrouwbaarheidsonderzoek.
Reacties
Ik heb iig nog geen spijt van de aanschaf van mijn X25-M
Die gaat mij nog vele jaren dienen als ik de statistieken zo lees.

euhm, kan je die statistieken van betrouwbaarheid niet normaliseren ofzo?
nu lijkt het alsof ze nog steeds tov het aantal percentage markaanteel uitgezet zijn (wat waarschijnlijk ook wel zo is...)
maar dit vergelijkt niet echt zo handig...
nu lijkt het alsof ze nog steeds tov het aantal percentage markaanteel uitgezet zijn (wat waarschijnlijk ook wel zo is...)
maar dit vergelijkt niet echt zo handig...
Alle grafieken zijn percentages, behalve diegenen die absolute getallen vertegenwoordigen (de eerste, en de 4e grafiek).
Dat betekent, als je naar de 2e grafiek kijkt, dat 5% van alle verkochte 'other' SSD's kapot zijn gegaan. Dat lijkt mij ook de manier waarop het moet.....
Dat betekent, als je naar de 2e grafiek kijkt, dat 5% van alle verkochte 'other' SSD's kapot zijn gegaan. Dat lijkt mij ook de manier waarop het moet.....
[Reactie gewijzigd op woensdag 27 juli 2011 21:29]
Als ik de statistieken zo zie dan was mijn Agility 2 geen slechte aankoop. En hij was ook nog eens redelijk goedkoop voor de grootte die ik zocht (240GB). Ik ben dan ook tevreden!
De agility 2 heeft 20 samples waarvan er een stuk is gegaan. Theoretisch zou deze echter precies even vaak moeten falen als de vertex 2 (Zelfde controller, zelfde firmware, alleen trager flash meen ik?). Zodra de sample size groter word zullen we dat zien.
Of niet natuurlijk
Dat is ook het hele punt van het onderzoek. Op dit moment kunnen we echter niet veel meer dan concluderen dat de vertex 2 onbetrouwbaar is, en de X25-m betrouwbaar. Ik verwacht zelf vergelijkbare getallen voor "current-generation" drives van diezelfde merken.
Of niet natuurlijk

[Reactie gewijzigd op woensdag 27 juli 2011 21:45]
Ben er benieuwd wat je onderzoek naar boven brengt met alle samples.
Klopt. Ik vraag me vooral af wat de vertex 3 nu gaat doen. De Vertex 3 en M4 zijn ongeveer even snel. De vertex is volgens de geruchten onbetrouwbaar. De M4 heel erg betrouwbaar. Maar is dat wel zo? Dat blijkt op dit moment nog niet.
Dat kan niet kloppen, ik had zelf 430 OCZ's opgevoerd en daar is nooit iets mee aan de hand geweest.
Maar serieus, kijk de spelling van Agility eens na.
Uitstekend initiatief hoor en de "voorlopige" uitslagen zijn verrassend.

Maar serieus, kijk de spelling van Agility eens na.

Uitstekend initiatief hoor en de "voorlopige" uitslagen zijn verrassend.
Dit zou eigenlijk frontpage aandacht moeten krijgen...
Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
Net zoals % niet veel zegt als de getallen er achter niet ongeveer vergelijkbaar zijn. Maar dat is natuurlijk allemaal afhankelijk van welke info je binnen krijgen.
Leuk onderzoekje wel!
Net zoals % niet veel zegt als de getallen er achter niet ongeveer vergelijkbaar zijn. Maar dat is natuurlijk allemaal afhankelijk van welke info je binnen krijgen.
Leuk onderzoekje wel!
oeps... ik had 48 maanden opgegeven, moet 24 maanden zijn 

Nee. Als er 1000 X25-M's zijn verkocht en er gaan er 2 stuk kan je concluderen dat deze betrouwbaarder is dan het andere merk, waar er 200 van zijn verkocht en 1 stuk is gegaan.X-DraGoN schreef op donderdag 28 juli 2011 @ 08:53:
Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
De grafiek geeft het percentage van de verkochte merken/schijven welke kapot is gegaan volgens de personen die de survey hebben ingevuld.
Absoluut gezien zullen er natuurlijk meer kapot kunnen gaan als er meer verkocht zijn. Maar daar heeft verhouding niets mee te maken. Als de schijven met hetzelfde procédé en dezelfde materialen worden gebouwd, zou verhoudingsgewijs het percentage uitval identiek moeten zijn. Dit is dus niet zo, dus zie je bijvoorbeeld dat Intel bijna evenveel is gekocht/gebruikt, maar percentueel een stuk minder uitval heeft dan OCZ.X-DraGoN schreef op donderdag 28 juli 2011 @ 08:53:
Als er in verhouding meer types van 1 bepaald merk verkocht worden is het dan ook niet normaal dat er gemiddeld meer kapot zouden gaan?
Net zoals % niet veel zegt als de getallen er achter niet ongeveer vergelijkbaar zijn. Maar dat is natuurlijk allemaal afhankelijk van welke info je binnen krijgen.
Leuk onderzoekje wel!
Ik ben het wel eens dat je een redelijke sample size moet hebben om percentages te vergelijken, maar in het geval van Intel en OCZ zou je dat wel al enigszins kunnen doen.
Doe ook es een beetje statistiek. Varianties etc? Betrouwbaarheid. Je hebt namelijk vrij weinig samples, zeker voor drives die niet van Intel komen of niet Vertex zijn.
Ik zeg ook meermaals dat er te weinig samples zijn om de betrouwbaarheid van bepaalde drives te beoordelen. Maar ik vind dat er genoeg samples zijn om de vertex 2 hard af te branden op dit moment. Veel mensen geloofden namelijk niet dat die drive significant onbetrouwbaarder is dan het intel aanbod (X25-m, intel 320). Nu hopelijk wel.
[Reactie gewijzigd op donderdag 28 juli 2011 13:54]
De sample size is te klein om dat te kunnen concluderen. Je kan het naar het idiote doorschuiven: als je van merk Z er 1 hebt gekocht en 0 stuk zijn gegaan, maakt dat merk Z niet 100% betrouwbaar. Daarnaast moet je eerst een hypothese opstellen, en dan pas naar de resultaten kijken, niet andersom.Darkstone schreef op donderdag 28 juli 2011 @ 11:03:
[...]
Nee. Als er 1000 X25-M's zijn verkocht en er gaan er 2 stuk kan je concluderen dat deze betrouwbaarder is dan het andere merk, waar er 200 van zijn verkocht en 1 stuk is gegaan.
Maar Darkstone, doe je ook iets met hoe lang een SSD op de markt is (langer op de markt=langer in gebruik=meer uitval bij gelijke betrouwbaarheid)? In het onderzoekje vraag je wel naar de gebruiksduur.
Daar moet ik nog even naar kijken. Dit is nog maar een preview 

Leuk onderzoekje!
Kleine spelfout: De versassende 3e is crucial -> De verassende 3e is Crucial
Kleine spelfout: De versassende 3e is crucial -> De verassende 3e is Crucial
Heb er ook aan meegedaan. Mooi onderzoek! Mijn X25M 80GB doet het al meer dan een jaar en zit nu helaas in een andere PC. Heb nu een maand een Vertex 3 120GB maar heb daarmee nogal wat vastlopers en voelt lang niet zo snel aan als de Intel. Toch wel jammer dat de OCZ, die een stuk nieuwer is, toch niet beter werkt dat de eerste SSD's...
Wanneer je er nog een "r" aan toevoegt is het pas correct qua betekenis.Kleine spelfout: De versassende 3e is crucial -> De verassende 3e is Crucial
"verassende" -> "verrassende". ;-)
Mooi opgezet dit onderzoek. Heb er ook m'n bijdrage aan geleverd. Maar misschien is het ook wel iets te vroeg hiervoor. Velen hebben nog niet zo lang een SSD in bezit en voor echte betrouwbare resultaten moet je 'm toch al wat langer hebben draaien. Kijk maar naar 8 MB bug...
Ik verwacht inderaad niet een betrouwbaar beeld van de nieuwe schijven. Wel van de vorige generatie en hopelijk de marvel controller. Maar de sample size daarvan is te klein, jammer.
Best een leuke opzet en complimenten daarvoor, maar wat is de meerwaarde van de grafieken als je zelf al aangeeft dat ze geen enkele indicatie van betrouwbaarheid kunnen geven?
In mijn ogen ga je de mist in wanneer je meerdere keren zegt dat de verschillende drives en merken niet vergelijkbaar zijn vanwege de sample size, maar onderlinge modellen vervolgens wel gaat vergelijken en "gevoelens" erbij haalt dat Intel betrouwbaarder zou zijn / meer tijd in firmware steekt. Je aanpak was veelbelovend tot dan toe en kwam wetenschappelijk over, jammer dat je toch hebt geprobeerd om conclusies te trekken terwijl dit nog niet kon. Op deze manier probeer je eerder gevoelens te verantwoorden met wat grafiekjes (gevoelens die zeer waarschijnlijk overigens terecht zijn), dan om wetenschappelijk onomstotelijk vast te stellen welke merken nou hoge failure rates hebben, welke drives je moet mijden enzovoort, iets dat volgens mij jouw onderliggende gedachte was om dit op te vangen met dit onderzoek.
Om toch maar een voorbeeld te geven van wat ik bedoel: je haalt meerdere keren aan dat je simple size veel te laag is en verkondigd in overeenstemming hiermee o.a. bij "percentage of returned SSD's" over het vergelijken van verschillende modellen: "Dat valt nog niet te zeggen. " Vervolgens ga je toch door om twee modellen eruit te halen en noem je zelfs een percentage van 1,2% (vanwaar deze significantie dan als de resultaten geenszins betrouwbaar zijn?). Dit wekt de illusie dat je niets onderling mag vergelijken, maar je mag wel even kijken naar de verschillen tussen bijvoorbeeld OCZ en Intel omdat iedereen al een onderbuikgevoel heeft dat Intel betrouwbaarder is.
Ik hoop dus dat je uiteindelijke onderzoek steekhoudend is en betrouwbare conclusies kan generen, iets wat onmogelijk is met de resultaten tot nog toe. Wellicht dat je deze tussentijdse publicatie toch online hebt gezet om meer mensen aan te moedigen om mee te doen met het onderzoek en alvast een voorproefje te geven. Uit ervaring kan ik je echter vertellen dat het voortijdig conclusies trekken voordat de echte resultaten binnen zijn erg schadelijk kan zijn, niet alleen voor de uitkomsten maar ook voor de betrouwbaarheid van het onderzoek. Hopelijk stap je dus niet in deze valkuil
.
In mijn ogen ga je de mist in wanneer je meerdere keren zegt dat de verschillende drives en merken niet vergelijkbaar zijn vanwege de sample size, maar onderlinge modellen vervolgens wel gaat vergelijken en "gevoelens" erbij haalt dat Intel betrouwbaarder zou zijn / meer tijd in firmware steekt. Je aanpak was veelbelovend tot dan toe en kwam wetenschappelijk over, jammer dat je toch hebt geprobeerd om conclusies te trekken terwijl dit nog niet kon. Op deze manier probeer je eerder gevoelens te verantwoorden met wat grafiekjes (gevoelens die zeer waarschijnlijk overigens terecht zijn), dan om wetenschappelijk onomstotelijk vast te stellen welke merken nou hoge failure rates hebben, welke drives je moet mijden enzovoort, iets dat volgens mij jouw onderliggende gedachte was om dit op te vangen met dit onderzoek.
Om toch maar een voorbeeld te geven van wat ik bedoel: je haalt meerdere keren aan dat je simple size veel te laag is en verkondigd in overeenstemming hiermee o.a. bij "percentage of returned SSD's" over het vergelijken van verschillende modellen: "Dat valt nog niet te zeggen. " Vervolgens ga je toch door om twee modellen eruit te halen en noem je zelfs een percentage van 1,2% (vanwaar deze significantie dan als de resultaten geenszins betrouwbaar zijn?). Dit wekt de illusie dat je niets onderling mag vergelijken, maar je mag wel even kijken naar de verschillen tussen bijvoorbeeld OCZ en Intel omdat iedereen al een onderbuikgevoel heeft dat Intel betrouwbaarder is.
Ik hoop dus dat je uiteindelijke onderzoek steekhoudend is en betrouwbare conclusies kan generen, iets wat onmogelijk is met de resultaten tot nog toe. Wellicht dat je deze tussentijdse publicatie toch online hebt gezet om meer mensen aan te moedigen om mee te doen met het onderzoek en alvast een voorproefje te geven. Uit ervaring kan ik je echter vertellen dat het voortijdig conclusies trekken voordat de echte resultaten binnen zijn erg schadelijk kan zijn, niet alleen voor de uitkomsten maar ook voor de betrouwbaarheid van het onderzoek. Hopelijk stap je dus niet in deze valkuil

Ik vind een sample size van onder de pak-m-beet 100 te laag om conclusies over te trekken. In het geval van intel en OCZ, en de X25-m 'G2' en vertex 2 zou je dat al kunnen doen.
OCZ heeft ook al min of meer toegegeven dat een op de 10 drives defect terugkomt. Verschillende tweakers zijn ook al met hun 3e of 4e vertex (2) bezig.... Een defecte SSD van een ander merk heb ik nog niet vaak gezien. Dat schept al meteen het onderbuikgevoel dat intel betrouwbaarder is, iets wat we op dit moment terugzien om de resultaten.
OCZ heeft ook al min of meer toegegeven dat een op de 10 drives defect terugkomt. Verschillende tweakers zijn ook al met hun 3e of 4e vertex (2) bezig.... Een defecte SSD van een ander merk heb ik nog niet vaak gezien. Dat schept al meteen het onderbuikgevoel dat intel betrouwbaarder is, iets wat we op dit moment terugzien om de resultaten.
In de survey word gevraagd, hoelang je de SSD in bezit hebt.
Deze vraagstelling had moeten worden uitgebreid bij " is de drive still working"
Na de keuze, de vraag te stellen "How manny hours''
ik bedoel als je één SSD van Intel en één SSD van OCZ hebt, en geven beiden de geest,
zul je zeggen even goed even slecht.
Maar als de Intel na 7000uur de geest geeft en de OCZ na 100uur gebruik, is toch een wezenlijk verschil.
Deze vraagstelling had moeten worden uitgebreid bij " is de drive still working"
Na de keuze, de vraag te stellen "How manny hours''
ik bedoel als je één SSD van Intel en één SSD van OCZ hebt, en geven beiden de geest,
zul je zeggen even goed even slecht.
Maar als de Intel na 7000uur de geest geeft en de OCZ na 100uur gebruik, is toch een wezenlijk verschil.
Daar is de vraag "How long did you have this SSD in your possession?" voor. Dat indiceert het aantal maanden dat de drive goed heeft gewerkt. Met data preciezer dan maandan kan je toch weinig met de sample size die we op dit moment hebben.
Was het nog je bedoeling het stukje in het Engels te schrijven? Of is dat voor het uiteindelijke stuk 'bewaard'? Zodat je een groter publiek bereikt en dus mogelijk een grotere sample size krijgt?
Dat weet ik nog niet. De bedoeling is dat het na het uiteindelijke stuk niet meer mogelijk is om inzendingen te doen.
Reageren is niet meer mogelijk