Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtest in Spanien

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #16
    @ hifiaktiv,

    wir haben nur aufgezählt, welche Schlußfolgerungen möglich sind, da der Test keine Hilfestellung dabei bietet, die _richtige_ auszuwählen.

    Du führst in deinem Beitrag vor, wie man aufgrund der eigenen Überzeugung sich die passende (dir selbst plausibel erscheinende) Schlußfolgerung aussucht, nur hat das mit dem Test und den durch ihn abgedeckten Erkenntnissen nichts mehr zu tun.

    Als Vergleichsbeispiel nehmen wir Olaf Sturms Kabeltest, Durchgang B mit 42 Testpersonen in 6 Durchgängen mit 6 verschiedenen Musikbeispielen; 2 Kabel im DBT-Vergleich, Durchgang 3 ist die Negativkontrolle, bei der 2mal hintereinander das gleiche Kabel verdeckt gespielt wurde.

    Ergebnisse:
    Durchgang 1
    1 besser: 12
    2 besser: 21
    gleich: 9

    Durchgang 2
    1 besser: 8
    2 besser: 20
    gleich: 14

    Durchgang 3 (Negativkontrolle zweimal das gleiche Kabel)
    1 besser: 18
    2 besser: 17
    gleich: 7

    Durchgang 4
    1 besser: 7
    2 besser: 27
    gleich: 8

    Durchgang 5
    1 besser: 27
    2 besser: 6
    gleich: 9

    Durchgang 6
    1 besser: 13
    2 besser: 20
    gleich: 9

    Folgte ich deiner "Holzhammerargumentation", dann wäre damit eindeutig und klar "bewiesen", daß die beiden Kabel unterschiedlich klingen und daß wäre die "Faktenlage" . ;)

    Ich hatte den Diskussionslink dazu oben gepostet und mE wurden in der Diskussion die entsprechenden Punkte herausgearbeitet.

    Übrigen noch eine Anmerkung zu den "Superohren" resp. geübten Hörern; in jedem Normvorschlag steht geschrieben, daß man mit den Testteilnehmern _unter_ _Testbedingunge_ trainieren _soll_ . Ich hatte seit Anbeginn der Diskussion unsere Erfahrung aus Testreihen über die letzten 25 Jahre gepostet, daß tatsächlich das Hören unter Testbedingungen auch für ansonsten geübte Hörer schwierig war, und die meisten von ihnen erst nach Gewöhnung an die Testbedingungen zur "Normalform" zurückfanden.

    Ein Bericht aus dem Jahr 1991 zum Ergebnis einer Doppelblindteststudie aus Schweden zur Transparenz von Audio-Codecs anläßlich einer AES-Convention:

    First, Locanthi related his experience of listening to a DAT tape that contained examples of low–bit-rate encoded music. He had requested the tape from Swedish Radio, the organization which conducted the official listening tests of these systems (footnote 2). Almost immediately Locanthi heard several peculiar sounds in the music, the most obvious being an idle tone at 1.5kHz.

    When Locanthi informed Swedish Radio of this problem, they were surprised that they had not discovered it, but they did hear the 1.5kHz artifact after it was pointed out to them. When Locanthi asked how such an obvious flaw could go undetected, the response was that he "knew what to listen for."

    It is ironic that Swedish Radio's extensive listening tests, with over 20,000 separate trials and 60 "expert listeners," failed to detect a flaw immediately apparent to a single listener. Their listening-test methodology—called "hidden reference, double-blind, triple stimulus"—was beyond scientific reproach. Yet a single listener in "unscientific" listening conditions immediately identified this fundamental problem. A paper by Michael Gerzon described later in this report comments peripherally on this issue of double-blind listening-test protocols not revealing the very flaws they are designed to detect.

    Swedish Radio had previously concluded that "Both codecs [data compression encoder/decoder systems] have now reached a level of performance where they fulfill the EBU [European Broadcasting Union] requirements for a distribution codec." In other words, the system in which Locanthi discovered the flaws had already been officially proclaimed sonically acceptable as the replacement for AM and FM radio broadcasting—a replacement that will likely be in place for many decades.
    Gruß
    Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

    Kommentar


      #17
      Zu den oben angeführten Testergebnissen wäre z.B. interessant ob es sich bei den 'klingt gleich' Ergebnissen weitgehend um die selben 'tauben Nüsse' gehandelt hat.

      Grüße, dB
      don't
      panic

      Kommentar


        #18
        Jakob, das hast du schön aufbereitet, danke dafür.
        :F

        Warum ich diesen ganzen Test nie ernst genommen habe ist die Tatsache, dass die Probanden alle im Raum "irgendwo" gesessen sind (wie bei HiFi-Messen).

        Wir wissen alle, wie winzig der Sweetspot bei sehr guten Anlagen ist und ebenfalls, wie entscheidend es ist genau dort zu hören, vor allem wenn es um die Räumlichkeit geht.

        Stereo ist nur mal eine Krücke und wenn man dieser Krücke noch einmal Krücken verpasst, dann bleibt so etwas wie eine Berieselungsanlage übrig.

        Wie war das wieder mit dem Testdesign?;)

        Meine Tests wurden angezweifelt (no na!), da spielten aber wirklich anerkannt gute Komponenten und die Probanden saßen (vorwiegend allein) im Raum und genau im Sweetspot.

        Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.
        Gruß
        David


        WEBSEITE HiFiAKTIV: Klick mich
        Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
        Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
        Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
        Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
        Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
        Wichtig: zumindest versuchen, beim Thema bleiben!

        Kommentar


          #19
          Zitat von Hifiaktiv Beitrag anzeigen
          Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.

          der p Wert steht überall dabei ( http://de.wikipedia.org/wiki/P-Wert )
          und natürlich kann man diese Ergebnisse auch würfeln. Schließlich kann man auch bei 6 aus 45 gewinnen.

          lg
          reno

          Kommentar


            #20
            Zitat von Jakob Beitrag anzeigen
            Wie oft haben wir die ABX-Homepage bereits verlinkt 100mal oder noch öfter??
            Ergänzend möchte ich noch, dass ich hier im Forum und auch per PM an David bereits mit aufgezeigt habe (Belegt durch Fachliteraturverweise), dass - so man ohne Training - man nicht in der Lage ist, feine Unterschiede im mehrfachen Wiederholungsfalle nicht mehr heraushören kann.

            Daher ist der ABX Test ungeeignet, wenn ein Probant einen solchen Unterschied mehrfach hintereinander heraushören muss, bereits nach wenigen Versuchen nicht mehr unterscheiden kann, obwohl dieser weiterhin da ist.

            Allgemein gesagt taugt unter diesen Umständen die ABX Methode nur für recht große Unterschiede. Als sicher gilt mWn um 25% (ist sehr Probantenabhängig), und um diese Größenordnung reden wir hier recht selten...

            Solange das nicht verstanden wird, ist eh jede Diskussion hinfällig, sei es MP3 vs CD, irgendwelche Kabel, Verstärker, CDP, selbst Lautsprecher. Unter solchen Bedingungen klingt schnell alles gleich und das kann man hier im Forum oder auf der HP von David auch prima nachlesen.

            Ciao DA

            PS: Ich habe das schon selbst erlebt und weiß daher, warum ich manche Dinge auch erst trainieren muss, bevor ich diese Unterscheiden kann...

            Kommentar


              #21
              @ dragonsage,

              hängt zusätzlich nmE auch von dem verwendeten Testprotokoll ab, gerade das ABX hat sich in unseren Versuchen in dieser Hinsicht als kritisch herausgestellt, weshalb ich es dann auch nicht weiter verfolgt habe.

              Allerdings scheint, wie du erwähnst, das Training eine wichtige Rolle zu spielen, denn andere wie z.B. Paul Frindle & Team oder Putzeys sind offenbar auch in ABX-Tests zu erstaunlichen Leistungen fähig.

              Ansonsten wird die Bedeutung des Trainings unter konkreten Testbedingungen in den meisten Publikationen ausdrücklich betont, aber es nützt wenig, wenn es keiner liest.

              @ hifiaktiv,

              Wir wissen alle, wie winzig der Sweetspot bei sehr guten Anlagen ist und ebenfalls, wie entscheidend es ist genau dort zu hören, vor allem wenn es um die Räumlichkeit geht.
              Nun übernehme ich einmal deine Rolle und sage, daß ich nur glaubem, was im BT "bewiesen" wurde; gibt es Blindtests aus denen man ablesen kann, daß grundsätzlich alle Unterschiede nur im Sweetspot gehört werden können? :)

              Meine Tests wurden angezweifelt (no na!), da spielten aber wirklich anerkannt gute Komponenten und die Probanden saßen (vorwiegend allein) im Raum und genau im Sweetspot
              Deine Tests werden eigentlich nicht angezweifelt, wohl aber deine überaus weitreichenden Schlußfolgerungen, die durch die Testergebnisse nicht abgedeckt werden; das das ein Unterschied ist, sollte auf der Hand liegen.

              Denn, obwohl du selbst miterlebt hast, wie Testteilnehmer gut hörbare "riesige" Unterschiede im BT plötzlich nach deinem Kriterium nicht mehr detektieren konnten, gibt es immer noch keine Positivkontrolle(n) .

              Selbst "geübte" Hörer....
              Das ist eine erstaunliche Prognose, denn üblicherweise lassen sich menschliche Leistungen (und das schließt Sinn/Gehirnleistungen ein) durch systematisches Training ziemlich stark verbessern, und die "Hörleistung" läßt sich durch ungewohnte Randbedingungen auch (beinahe würde ich sagen beliebig) verschlechtern.

              Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.
              Reno hat es nochmals geschrieben, jedes Testergebnis ist nur eine mit einer Wahrscheinlichkeit auftretende Möglichkeit, endgültige Wahrheiten gibt es dabei nicht.

              Aber, interessanterweise tritt nur bei der Negativkontrolle eine annähernd gleiche Verteilung in den "Besseraussagen" auf, während in den Versuchen, in denen tatsächlich etwas verändert wurde immer eine der beiden Varianten recht eindeutig präferiert wurde.
              Das es grundsätzlich schwierig wird bei inkonsistenter Grupperpräferenz wurde bereits beschrieben.

              @ Dezibel,

              die Testergebnisse wurden zwar auf vielfältige Weise ausgewertet, aber diese Information war leider nicht dabei.

              Gruß
              Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

              Kommentar


                #22
                @Jakob schrieb:
                Nun übernehme ich einmal deine Rolle und sage, daß ich nur glaubem, was im BT "bewiesen" wurde; gibt es Blindtests aus denen man ablesen kann, daß grundsätzlich alle Unterschiede nur im Sweetspot gehört werden können? :)
                Du wirst mir aber doch hoffentlich zustimmen, dass man außerhalb des Sweetspots bezüglich räumlicher Wiedergabe gar nichts beurteilen kann. Stereo "lebt" von Intensitäts- und Laufzeitunterschieden und die sind außerhalb des Sweetspots "futsch" - bzw. völlig daneben.

                Da hilft die ganze schöne Aufbereitung (nach wissenschaftlichen Maßstäben) bei so einem Test nichts, er ist einfach Murks.

                Keine Frage, dass meine Tests was die Aufbereitung und Berichterstattung betrifft, "käsig" waren, aber die Art wie getestet wurde, war fehlerfrei.

                @dragonsage
                Meine Erfahrung mit ABX-Tests ist eine sehr positive. Man kann sie mit sich alleine machen und hin- und herklicken so oft man will.
                Eine Ermüdung im Sinne von "nichts mehr hören können" habe ich noch nicht festgestellt. Sogar das Gegenteil ist der Fall, weil man immer wieder zu den kritischen Stellen gehen kann und sich mittels Wiederholung noch genauer darauf konzentrieren kann.

                Trotzdem habe ich beispielsweise noch keine 10 aus 10 bei MP3 gegen lossless geschafft.
                Gruß
                David


                WEBSEITE HiFiAKTIV: Klick mich
                Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                Wichtig: zumindest versuchen, beim Thema bleiben!

                Kommentar


                  #23
                  Tag,

                  gewisse internationale Test-Standards (ITU BS.1116-1, EBU 3276) beziehen neben der reference listening position (centre location) auch die listening area mit ein, d.i. eine Anzahl suboptimaler Plätze, nicht auch die gewissen worst case positions eines Arrangements. Dabei geht es einerseits um die Bestimmung der mehr generellen Performance des EUT, andererseits um die Vermutung, dass die Bedingungen beim realen Nutzer eher den suboptimalen Verhältnissen entsprechen werden. Daher das besondere Interesse an den Modi des off-centre. Vgl.: Bech/Zacharov, Perceptual Audio Evaluation, Seiten 248-259, mit weiteren Literaturhinweisen.

                  Freundlich
                  Albus

                  Kommentar


                    #24
                    Zitat von Hifiaktiv Beitrag anzeigen
                    Meine Erfahrung mit ABX-Tests ist eine sehr positive. Man kann sie mit sich alleine machen und hin- und herklicken so oft man will.
                    Eine Ermüdung im Sinne von "nichts mehr hören können" habe ich noch nicht festgestellt. (...)
                    Trotzdem habe ich beispielsweise noch keine 10 aus 10 bei MP3 gegen lossless geschafft.
                    Genau das ist das Problem.

                    MP3 gegen guten 24bit Lossless kann ich i.d.R. auf Anhieb heraus hören. Wenn ich aber versuche, dies mit einem Test festzuzurren, dann klappt das oft nach dem 4. bis 5. Versuch nicht mehr, die Unterschiede festzumachen.

                    Nun müßtest Du argumentieren: dann sind keine da.

                    Aber das ist nicht der Fall. Wenn ich a gegen b vergleiche, jeden Tag aber nur einen Vergleich mache, erreiche ich über 14 Tage eine 100% Quote (länger habe ich bieher auch nicht versucht).

                    Wenn ich die 14 Durchläufe hintereinander mache, ist das Ergebnis ungefähr so gut wie ein Würfelwurf - statistischer Zufall.

                    Das hat keineswegs mit Ermüdung zu tun, sondern mit der Art, wie Menschen im Allgemeinen hören.

                    Das ist meine Erfahrung. Das löst der ABX Test nicht, auch wenn dieser in beiden Fällen als Werkzeug genutzt werden kann.

                    Da dieser aber i.d.R. aber in der Form: 'ich mache X Durchläufe' genutzt wird, funktioniert es nicht, weshalb ich generell ABX Tests misstraue.

                    Diesen Zusammenhang kann man durch entsprechendes Training durchbrechen, nämlich den Geist auf einen bestimmten Unterschied trainieren und den nach vorne holen in der Aufmerksamkeit. Das ist in meiner Erfahrung keineswegs ein Prozess, den man in kurzer Zeit erreichen kann (z.B. 1-2 Stunden vorher). Aber wenn man an der Stelle ist, dann schafft man die 100% auch in den 14 Durchläufen hintereinander.

                    Gut, genug eräutert, denn ich schreibe eh regelmäßig das gleiche, nichts neues. Insofern...

                    Ciao DA

                    Kommentar


                      #25
                      Michael, dann müsste man laut deiner Theorie die erste Probe immer schaffen.

                      Mal sehen ob das klappt.
                      Gruß
                      David


                      WEBSEITE HiFiAKTIV: Klick mich
                      Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                      Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                      Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                      Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                      Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                      Wichtig: zumindest versuchen, beim Thema bleiben!

                      Kommentar

                      Lädt...
                      X
                      👍