Wie bewertet man eine Bewertung?

Das Forum für den Gitarrebassbau.de Bauwettbewerb

Moderator: jhg

Antworten
Benutzeravatar
Sven
Ober-Fräser
Beiträge: 845
Registriert: 17.08.2015, 23:00
Hat sich bedankt: 231 Mal
Danksagung erhalten: 178 Mal

Wie bewertet man eine Bewertung?

#1

Beitrag von Sven » 31.10.2019, 18:22

Nachdem wir im Thread Wettbewerb 2020? in eine Metadiskussion um die Bewertungsmethode des letzten Wettbewerbs gerutscht sind, möchte ich vorschlagen, diese Diskussion hier weiterzuführen und den anderen Thread für Terminfestlegung und inhaltliche Planung zu nutzen.

Ich beginne mal mit meinem Senf:
Das Bewertungssystem des letzten Wettbewerbs fand ich gut. Es führte zu einer vielschichtigen Bewertung der Wettbewerbsbeiträge und wurde damit der Leistung der einzelnen Teilnehmer gerecht.
Dadurch war die Bewertung zeitaufwändig.
Ich tue mich aber schwer, darin einen echten Nachteil der Bewertung zu sehen oder ein Problem, das bis zum nächsten Wettbewerb durch einen neuen Ansatz gelöst werden muss.

Mein Vorschläg wäre daher, die Bewertung nur ein klein wenig anzupassen, z.B. durch weniger Kategorien.
Eines ist dabei zu bedenken. Die Dokumentation (der Bauthread) eines Wettbewerbsbeitrag hat in unseren Augen einen so hohen Stellenwert, weil sie auch den Zweck des Wissentransfers zwischen den Forumsmitgliedern erfüllt. Ein Zweck, von dem wir alle profitieren und den wir schätzen.
Die Dokumentation wird also auch in Zukunft eine der Kategorien bleiben und damit wird uns das Lesen der Dokumentation als zeitaufwendigster Teil der Bewertung erhalten bleiben. Darum kommen wir nicht herum. Diese Zeit werden wir immer in die Bewertung investieren müssen.
Als Anreiz eine Bewertung abzugeben, wurde hier eine Verlosung unter den Bewertern in die Diskussion eingebracht. Ich glaube, dass wir das nicht brauchen, wenn wir uns klar machen, dass jeder von uns durch das Lesen der Dokumentation bereits etwas von Wert bekommt, nämlich Wissen. Wissen, welches mit Bild, Text und Begeisterung mit uns geteilt wird.
Die Bauthreads zu lesen war der zeitaufwändigste Teil der Bewertung. Aber es war nicht anstrengend oder mühselig, sondern lehreich und spannend.
Daher habe ich, für meinen Teil, kein Problem damit, dass auch im nächsten Wettbewerb die Bewertung wieder viel Zeit kosten wird.

Sven

Vom Handwerk kann man sich zur Kunst erheben.
Vom Pfusch nie.
(Goethe)

Benutzeravatar
bea
GBB.de-Inventar
Beiträge: 5673
Registriert: 06.05.2011, 11:28
Hat sich bedankt: 112 Mal
Danksagung erhalten: 270 Mal

Re: Wie bewertet man eine Bewertung?

#2

Beitrag von bea » 31.10.2019, 18:26

Dem möchte ich mich anschließen, auch wenn mich das Verfolgen des Wettbewerbs in den letzten paar Wochen zeitlich überfordert hatte.
LG

Beate

Benutzeravatar
Rallinger
Zargenbieger
Beiträge: 1360
Registriert: 27.02.2017, 12:05
Wohnort: Gröbenzell
Hat sich bedankt: 215 Mal
Danksagung erhalten: 319 Mal

Re: Wie bewertet man eine Bewertung?

#3

Beitrag von Rallinger » 31.10.2019, 20:15

Sven2 hat geschrieben:
31.10.2019, 18:22
Das Bewertungssystem des letzten Wettbewerbs fand ich gut. Es führte zu einer vielschichtigen Bewertung der Wettbewerbsbeiträge und wurde damit der Leistung der einzelnen Teilnehmer gerecht.
Dadurch war die Bewertung zeitaufwändig.
Ich tue mich aber schwer, darin einen echten Nachteil der Bewertung zu sehen oder ein Problem, das bis zum nächsten Wettbewerb durch einen neuen Ansatz gelöst werden muss.
Danke, Sven. Ja, Objektivität ist aufwendiger als aus der Hüfte zu schießen. Das liegt in der Natur der Sache. Andererseits halte ich den durchschnittlichen Schwarm-IQ in diesem Forum für sehr hoch. Ich fände es schade, das nicht zu nutzen.
Sven2 hat geschrieben:
31.10.2019, 18:22
Mein Vorschläg wäre daher, die Bewertung nur ein klein wenig anzupassen, z.B. durch weniger Kategorien.
Weniger Kategorien sind halt nur dann zielführend, wenn im Gegenzug die Range der zu vergebenden Punkte nach oben angepasst wird. Schaut euch die Kategorie "elektrisch" im aktuellen Wettbewerb an. Platz 1 und Platz 7 trennen immense 0,53 Punkte. Platz 2 und Platz 3 wurden durch 0,01 Punkte entschieden.

Wenn wir jetzt die Bewertungskategorien auf 2 reduzieren, diese beiden gleich gewichten und nur noch 1-6 Punkte vergeben, dann haben wir am Ende 7 erste Plätze. Oder wir entscheiden den Wettbewerb über die Tausendstel Nachkommastelle, bei allerdings deutlich weniger differenzierter Bewertung des Ergebnisses. Macht das Sinn?

Es stimmt schon, dass die Bewertungskategorien sich überschnitten haben, was sicherlich zu einer gewissen Verzerrung geführt hat. Das lag daran, dass das System im laufenden Wettbewerb vorgeschlagen wurde. Ich hätte liebend gerne statt der Kategorie "Konzept" eine Kategorie "Eigenständigkeit" vorgeschlagen. Nun war es aber so, dass z.B. Filzkopf eine wunderschöne Telecaster-artige Gitarre gebaut hatte. Ein geiles Instrument, aber halt nicht sehr eigenständig. Andererseits hat diese Gitarre keine Tonregelung und keinen Volumeknopf. Das ist ein sehr radikales Konzept, und darüber kann man fair urteilen. Ich könnte noch diverse weitere Beispiele anführen, aber das sollte das Dilemma gut illustrieren.

Mein Vorschlag
Lasst uns das "Konzept" durch "Eigenständigkeit" ersetzen. So ein Wettbewerb ist immer auch ein guter Ort, neue Sachen auszuprobieren und Dinge zu zeigen, die man vielleicht noch nicht 100x gesehen hat. Und wenn das jemand tut, sollte das anerkannt werden.

Die Kategorie "Kopie" sollten wir weiter fassen. Hier sollte man nicht nur 1:1 Kopien irgendwelcher Instrumente bauen dürfen. Warum sollte jemand nicht eine Paula bauen und diese durch Mods an die eigenen Bedürfnisse anpassen dürfen? Wenn "Eigenständigkeit" gefragt ist, würde ein solches Instrument durchfallen. Und wenn "1:1" gefragt ist, kann man das Instrument nicht so pimpen wie man es braucht. Da hat Bussela völlig recht. Wenn wir aber unter "Kopie" auch alles Tele-, Strat-, Paula-, Jazzbass und sonstwieartiges verstehen, haben wir das Problem gelöst.

Mal so für den Anfang ...

Benutzeravatar
ugrosche
Ober-Fräser
Beiträge: 874
Registriert: 19.04.2017, 08:08
Hat sich bedankt: 123 Mal
Danksagung erhalten: 166 Mal

Re: Wie bewertet man eine Bewertung?

#4

Beitrag von ugrosche » 31.10.2019, 22:01

Sehr konstruktive Diskussion hier, vielen Dank!
Mein Senf dazu:

Den Punkterange nach oben anpassen, gefällt mir persönlich nicht so gut. Bei 1-10 kann ich schnell ein Votum schießen. Hätten wir aber z.B. 25 Punkte, wüsste ich nicht ob ich die Optik von Instrument XYZ jetzt 17 oder 18 finde. Und wahrscheinlich würden wir auch bei dem System nach dem Normieren erkennen, dass zwischen Platz 1 und 7 nur 5% liegen.

Bei den Bewertungskriterien möchte ich im Grunde drei Punkte bewerten, bzw. Feedback dazu bekommen:

Bau
Kann derjenige handwerklich gut bauen?
Sehe ich hier Techniken, Tricks, Methoden, die mir auch helfen könnten?
Wie wird hier mit "Fehlern" umgegangen?
Lese ich den Thread richtig gerne, oder ist das eher wie Pflicht, wie "Korrektur-Lesen"?

Idee
Stecken da neue Ideen drin? Finde ich die Idee spannend oder uninteressant?
Steckt hinter der Idee eine Art Gesamtkonzept, oder ist dass eher "mal ausprobieren"?
Funktioniert die Idee? Erfüllt die Umsetzung die Erwartungen?
Sieht das für mich stimmig und gut aus oder "zusammengepuzzelt"?

Aussehen
Gefällt mir persönlich das Instrument?
Würde ich im Musikladen dran vorbei laufen oder das Ding anspielen wollen?
Würde ich mir das in die Vitrine stellen?
Gefällt das Instrument auch Nicht-Musikern?

Natürlich sind das alles subjektive, persönliche Bewertungen. Wie die Bewertung-Kategorien dann heißen, ist aus meiner Sicht zweitrangig. Wichtig sind die "Hilfsfragen". Da hatte @Rallinger letztes Mal gut vorgearbeitet.
Im Grunde ist es genau das, was wir letztes Mal hatten, nur wären "Innovation" und "Konzept" zusammen gefasst und "Doku" ist Voraussetzung für eine vernünftige Bewertung von "Skills".
Die Gratwanderung ist, dass es dann bei reinen Kopien weniger Punkte geben würde, da es keinen neuen Ideen gibt. Trotzdem würde es mir gefallen, wenn das Ausprobieren neuer Ideen belohnt würde.
Abgeschlossene Projekte: Kaizen-Bass | Massari-Archtop

Gelöschter Benutzer

Re: Wie bewertet man eine Bewertung?

#5

Beitrag von Gelöschter Benutzer » 31.10.2019, 22:47

Ich hatte als Beispiel bewusst den Bauthread als Basis angeführt, er ist die Hauptinformationsquelle für meine Bewertung in Bezug auf den Werdegang des Projektes. Dieser erstreckt sich in den meisten Fällen über einige Seiten. Habe ich diesen vom Start an qualitativ/quantitativ vorbewertet (ich zähle halt meine Likes oder "hat sich bedankt" durch, ohne mich am Ende des Wettbewerbs zwingend nochmals inhaltlich mit dem kompletten Thread beschäftigen zu müssen), geht das ganz fix und die Endbewertung vom Bauthread/der Dokumentation ergibt sich am Ende quasi im Handumdrehen. Eine Möglichkeit, so auch bei den weiteren Wettbewerbskriterien vorzugehen sehe ich aus Zeitmangel, den wohl die meisten von uns kennen, als Zugewinn und deutlichen Vorteil in Bezug auf die Qualität der Bewertung und die Quantität der Bewerter.

MFG C.

Benutzeravatar
Rallinger
Zargenbieger
Beiträge: 1360
Registriert: 27.02.2017, 12:05
Wohnort: Gröbenzell
Hat sich bedankt: 215 Mal
Danksagung erhalten: 319 Mal

Re: Wie bewertet man eine Bewertung?

#6

Beitrag von Rallinger » 31.10.2019, 23:11

ugrosche hat geschrieben:
31.10.2019, 22:01
Bau
Kann derjenige handwerklich gut bauen?
Sehe ich hier Techniken, Tricks, Methoden, die mir auch helfen könnten?
Wie wird hier mit "Fehlern" umgegangen?
Lese ich den Thread richtig gerne, oder ist das eher wie Pflicht, wie "Korrektur-Lesen"?
D.h. du würdest den Thread und das Handwerkliche in einen Topf schmeißen wollen? Verstehe ich dich da richtig?

Benutzeravatar
Yaman
Zargenbieger
Beiträge: 1493
Registriert: 17.06.2016, 12:43
Wohnort: Dortmund
Hat sich bedankt: 128 Mal
Danksagung erhalten: 357 Mal

Re: Wie bewertet man eine Bewertung?

#7

Beitrag von Yaman » 01.11.2019, 09:30

Um mal eine andere Sichtweise auf dieses Thema zu bekommen, habe ich meine Frau gefragt, wie sie die Bewertung angehen würde.
Sie würde nur die Instrumente bewerten, die ihr auch gefallen. Dann wäre auch die Motivation entsprechend hoch, den Bauthread zu lesen. Da sie dann auch nicht mehr alle Instrumente bewerten würde, wäre auch der Zeitaufwand nicht mehr so hoch.

Gelöschter Benutzer

Re: Wie bewertet man eine Bewertung?

#8

Beitrag von Gelöschter Benutzer » 01.11.2019, 10:10

Na ja, ich persönlich möchte prinzipiell allen Teilnehmern von Beginn an meine Wertschätzung für ihre Teilnahme und dem damit einhergehenden, potenziell einjährigen Engagement, zuteil kommen lassen. Wie beim vorangegangenen Wettbewerb lese ich dann alle Beiträge von allen Teilnehmern, für mich selbstverständlich. Beispiel ugrosche:
Anfangs von der Projektbeschreibung her für mich noch nicht so der Burner, im weiteren Verlauf jedoch zunehmend beeindruckender! MfG, C.

Edit: Du bist von mir versehentlich gelöscht worden. Einfach neu anmelden und alles wird gut!
Sorry für die Umstände.

capricky

Benutzeravatar
Simon
Moderator
Beiträge: 5188
Registriert: 23.04.2010, 14:11
Wohnort: Tirol
Hat sich bedankt: 162 Mal
Danksagung erhalten: 295 Mal

Re: Wie bewertet man eine Bewertung?

#9

Beitrag von Simon » 04.11.2019, 19:01

Auweh, ich habe alles in einen Thread gepackt, aber nicht gemerkt das es zwei gibt, das hab ich irgendwie übersehen, drüber im Wettbewerb 2020 Thread schrieb ich folgendes:
filzkopf hat geschrieben:
04.11.2019, 18:31
Zum Punktesystem: wurde ja schon mehrmals angemerkt, dass es dieses Jahr einfach zu kompliziert war. Ich würde es dieses Mal einfacher machen. Man gibt jedem Instrument 1-5 Punkte, und jedem Bauthread 1-5 Punkte.
Ja, ist sehr vereinfacht, und gerade die Punkts fürs Instrument sind sehr variabel, da Optik und Skills mit reinspielen. Aber ich denke es würde reichen, und machts nicht so kompliziert.... Oder so wir @kehrdesign anfangs schrieb: Handwerk, Doku, Ergebnis

und AUF GAR KEINEN FALL fürs Bewerten eine Belohnung. Das steht in keiner Relation zur Arbeit, den der Bau einer Gitarre verbraucht. Jeder der abstimmt sollte das gerne tun, und nicht weil dann für ihn was rausspringt.

Benutzeravatar
DoppelM
Zargenbieger
Beiträge: 1462
Registriert: 12.07.2015, 23:46
Hat sich bedankt: 161 Mal
Danksagung erhalten: 153 Mal

Re: Wie bewertet man eine Bewertung?

#10

Beitrag von DoppelM » 06.11.2019, 23:30

1-5 als Bewertungsskala ist in meinem Berufsfeld (Marktforschung) die gebräuchlichste Skala, aus mehreren (praktischen und psychologischen) Gründen:

a) Tendenz zur Mitte => Extreme werden nur selten vergeben, je mehr Abstufungen um so seltener.
b) Vermeidung von Negativität => Menschen sind (man sollte es nicht meinen) normalerweise nett und freundlich, und vergeben deshalb ungern negative Bewertungen.

Für eine 10-Stufige Skala wie die beim diesjährigen Wettbewerb verwendete hat das oft folgende Auswirkungen: das meiste spielt sich zwischen 9 und 5 Ab. Eine 10 wird nur in Ausnahmefällen vergeben. Alles unter 5 ist schon soweit vom "netten" Bereich entfernt, dass es nur bei klaren Fehlern/Minderleistungen vergeben wird. Eine 1 ist quasi eine absolute Ohrfeige, die nahezu nie vorkommt. (Das könnten ja die Auswerter checken ob es bei uns auch so war.)

Eine 5er enthält alle grundsätzlichen Positionen, aber keine feine Abgrenzung und kompensiert dieses Verhalten weitestgehend dadurch. Außerdem ist sie schnell abzustimmen, da es wenig Graustimmen gibt, erhöht also auch die Beteiligung, z.B.
1 Kompletter Flop
2 Negative Tendenz
3 Neutral
4 Positive Tendenz
5 Richtig Super.

Gerade Skalen (meist 4er, Schulnoten seltener) werden verwendet um den Mittenbias weiter zu unterdrücken und eine klare pro/contra Entscheidung zu erzwingen.

Das Maximum unter den gebräuchlichen Skalen ist die 7er, die aber dann in der Praxis oft mit differenzierteren Erläuterungen versehen wird.
Beispiel: "Würden sie produkt xy kaufen" / "Was halten Sie von Idee abc"
1 Auf keinen Fall /Absolut schlecht
2 Höchstwahrscheinlich nicht / Generell schlecht aber unter umständen noch Lichtblicke
3 Eher nicht / Mittelfeld mit tendenz zu schlecht
4 unentschieden / neutral
5 eher ja / Mittelfeld mit tendenz zu gut
6 Sehr wahrscheinlich / Generell gut, aber noch Verbesserungspotential
7 Auf jeden Fall / Perfekt

Dann ist natürlich noch die Zahl der Abstimmenden und der Abstimmungsgegenstände zu betrachten. Bei vielen Abstimmenden und wenig Gegenständen reicht die 5er vollkommen aus, da die Durchschnittswerte klare Unterscheidungen erzeugen sollten.

Bei wenig abstimmenden und vielen / komplexen Themen werden dann gelegentlich auch 6er oder 7er genommen. Bei uns dürfte aber der Freundlichkeitsbias eine größere Rolle spielen - so dass vermutlich in einer 7er schon unter 3 nix mehr vergeben wird. Was äquivalent zu einer 5er ist.

Deshalb finde ich ein 5er Punkte-Sammelsystem total gut. Erleichtert Entscheidung, und in Punkteform gegossen ist eine 1 auch weniger eine Kritik sondern eher ein "es gibt halt viele bessere". Für wirklich schlechte Beiträge könnte man immer noch 0 Punkte vergeben.
All you need for a good song is three chords and the truth.

Hold my beer and watch this

Benutzeravatar
ugrosche
Ober-Fräser
Beiträge: 874
Registriert: 19.04.2017, 08:08
Hat sich bedankt: 123 Mal
Danksagung erhalten: 166 Mal

Re: Wie bewertet man eine Bewertung?

#11

Beitrag von ugrosche » 07.11.2019, 08:39

DoppelM hat geschrieben:
06.11.2019, 23:30
...
Für eine 10-Stufige Skala wie die beim diesjährigen Wettbewerb verwendete hat das oft folgende Auswirkungen: das meiste spielt sich zwischen 9 und 5 Ab. Eine 10 wird nur in Ausnahmefällen vergeben. Alles unter 5 ist schon soweit vom "netten" Bereich entfernt, dass es nur bei klaren Fehlern/Minderleistungen vergeben wird. Eine 1 ist quasi eine absolute Ohrfeige, die nahezu nie vorkommt. (Das könnten ja die Auswerter checken ob es bei uns auch so war.)
...
Da ich als "Wahlhelfer" alle Stimmzettel sehen durfte, hier die Auswertung zur Maltes Thesen:
Anteile.PNG
Anteile.PNG (7.66 KiB) 404 mal betrachtet




Das belegt Maltes Erfahrungen grundsätzlich, nur dass wir so gut sind, dass auch öfter mal eine 10 vergeben wurde. :D
Die Messlatte wurde bei den Bewertern aber unterschiedlich angesetzt. Ich hatte Stimmzettel mit bis zu 22 10er Bewertungen gesehen, aber auch einige, bei denen es nur eine 10 gab.
Falls wir nächstes Mal wieder "nur" 18 Stimmzettel bekommen, habe ich die Befürchtung, dass wir mehrere gleiche Platzierungen bekommen, wenn wir zu sehr vereinfachen (z.B. das vorgeschlagene Extrem: nur 2 Bewertungen von 1-5 pro Instrument)
(think)
Abgeschlossene Projekte: Kaizen-Bass | Massari-Archtop

Benutzeravatar
KNGuitars
Halsbauer
Beiträge: 354
Registriert: 28.02.2017, 10:30
Wohnort: Österreich/Steiermark
Hat sich bedankt: 75 Mal
Danksagung erhalten: 57 Mal

Re: Wie bewertet man eine Bewertung?

#12

Beitrag von KNGuitars » 07.11.2019, 10:01

auch hier noch kurz meine meinung zur bewertung:

durch das bewerten der bauthreads war die bewertung heuer extrem aufwändig (mir wars zu aufwändig, deshalb hab ich mich letztendlich rausgehalten)

ich würd die 2 angedachten Kategorien nur anhand der vorstellung der fertigen instrumente in der Gallerie beurteilen. also "skills" würd ich hier nicht mitbewerten, es zählt nur das ergebnis find ich (ganz egal wie man dahin kommt).
das macht es zumindest mit vertretbarem aufwand möglich alle instrumente zu bewerten.

zusätzlich würd ich noch ein drittes ranking für Dokumentation + skills , etc. vergeben, in der man alle instrumente in einen topf wirft. (wie heuer auch schon)

punktesystem würd ich bei 1-10 lassen
lg klaus

Antworten

Zurück zu „Gitarrebassbau.Wettbewerb“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste