| Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
| Autor |
Nachricht |
Tarvoc
would prefer not to.
Anmeldungsdatum: 01.03.2004
Beiträge: 44191
|
 (#2305309) Verfasst am: 13.05.2024, 12:35 Titel: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
 |
|
Ich bin heute zufällig über folgende Story gestolpert:
swissinfo.ch: AI-generated rat genitalia: Swiss publisher of scientific journal under pressure
Es geht um einen Aufsatz mit dem Titel "Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway", peer-reviewed und veröffentlicht in Frontiers. Der Artikel war von A.I.-generierten recht offensichtlichen Nonsense-Grafiken mit ebenso unsinnigen Beschriftungen durchzogen. Ob auch der Text ähnlichen Unsinn beinhaltet, kann ich als Fachfremder natürlich nicht sagen. Der Artikel wurde inzwischen zurückgezogen, kann aber - mit RETRACTED-Stempel - immer noch hier heruntergeladen werden.
(Nachtrag: Nach dem, was man im Internet dazu liest, ist auch der Text des Papers wohl ähnlicher Unsinn oder zumindest ebenfalls A.I.-generiert. Ob das stimmt, kann ich wie gesagt aufgrund mangelnder Sachkenntnis nicht beurteilen.)
Der Artikel schaffte es wie gesagt initial durchs Peer Review.
Ich frage mich, was das über die wissenschaftlichen Standards selbst in naturwissenschaftlich orientierten Verlagen aussagt. Handelt es sich einfach nur um einen Einzelfall? Ist das spezifisch ein Problem von Frontiers, oder haben andere Verlage ähnliche Probleme? Wie viel ist bisher überhaupt noch niemandem aufgefallen? Der von mir oben verlinkte Artikel von Swiss Info scheint ja nahezulegen, dass das mit dem Geschäftsmodell solcher Verlage zu tun haben könnte. Das fände ich allerdings beunruhigend. Das als neue Sokal-Affäre zu bezeichnen ist natürlich eine absichtliche Übertreibung zur Provokation, aber beunruhigend finde ich das dennoch. Wenn schon etwas derart Offensichtliches durchs Peer Review rutscht, wer weiß, was dann sonst noch alles durchkommt?
Es würde mich interessieren, zu lesen, was die Naturwissenschaftler hier im Forum zu diesem Fall meinen.
_________________
Geh mir aus der Sonne, Alexander!
|
|
| Nach oben |
|
 |
smallie
resistent!?
Anmeldungsdatum: 02.04.2010
Beiträge: 3658
|
| (#2305321) Verfasst am: 14.05.2024, 18:21 Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
|
|
| Tarvoc hat folgendes geschrieben: | | Der von mir oben verlinkte Artikel von Swiss Info scheint ja nahezulegen, dass das mit dem Geschäftsmodell solcher Verlage zu tun haben könnte. |
Das.
Bezahlen um veröffentlicht zu werden - was kann dabei schon schiefgehen? Gibt ja keinen Interessenkonflikt, ein Auge zuzudrücken, wenn man $$$ sieht. Obendrein werden wissenschaftliche Karrieren auch an der Zahl der Veröffentlichungen gemessen.
| Tarvoc hat folgendes geschrieben: | | Handelt es sich einfach nur um einen Einzelfall? Ist das spezifisch ein Problem von Frontiers, oder haben andere Verlage ähnliche Probleme? |
Mit Sicherheit nicht. Die Replikationskrise ist seit einem Jahrzehnt Thema. Der jüngst verstorbene Danial Kahneman, Autor von Schnelles Denken, langsames Denken, hatte einige Beispiele im Buch, die sich später als falsch herausgestellt haben. Kahneman hat das klar angesprochen:
| Stat Modelling hat folgendes geschrieben: | Was das Blog absolut richtig stellt, ist, dass ich zu viel Vertrauen in Studien mit zu geringer Erfolgsquote gesetzt habe. Wie im Blog und zuvor von Andrew Gelman hervorgehoben, liegt in meinem Fehler eine besondere Ironie, denn die erste Arbeit, die Amos Tversky und ich veröffentlicht haben, handelte vom Glauben an das „Gesetz der kleinen Zahlen“, das es Forschern erlaubt, den Ergebnissen von Studien mit unangemessen kleinen Stichproben zu vertrauen.
https://statmodeling.stat.columbia.edu/2017/02/18/pizzagate-kahneman-two-great-flavors-etc/ |
Daß viele Studien falsch sind, läßt sich leicht zeigen.
Sagen wir, ich schreibe 200 Arbeiten. Weil ich nix kann, sind meine Thesen alle falsch. Trotzdem kommen bei 0,05 p-Wert 10 Arbeiten als "richtig" heraus. Jemand anderes, der was auf dem Kasten hat, schreibt nur 10 Arbeiten, deren Thesen alle korrekt sind. Vielleicht eine käme fälschlicherweise als falsch heraus.
Die Zahlen sind so hingedreht, daß die gleiche Anzahl "richtiger" Arbeiten herauskommt. Die Frage ist: wie viele Forschungsansätze sind richtig, wie viele sind falsch. Dann kann man sich den Anteil falsch positiver Ergebnisse ausrechnen. Es werden einige sein.
_________________
"There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors."
|
|
| Nach oben |
|
|
fwo
Caterpillar D9
Anmeldungsdatum: 05.02.2008
Beiträge: 25915
Wohnort: im Speckgürtel
|
| (#2305329) Verfasst am: 15.05.2024, 11:26 Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
|
|
| Tarvoc hat folgendes geschrieben: | ....
Es würde mich interessieren, zu lesen, was die Naturwissenschaftler hier im Forum zu diesem Fall meinen. |
Der Fall ist eigentlich nur insofern interessant, als der Unsinn AI-generiert war.
Ansonsten hat schon immer regelmäßig Unsinn in wissenschaftlichen Zeitschriften gestanden. Der Peer-Review findet immer in Cliquen statt, innerhalb derer man sich bzw. seinen Schützlingen nur ungern an Bein pisst. Deshalb kann es sein, dass ein Mann aus Hamburg, der persönlichen Streit mit einem der Peers der angesehenen Zeitschrift Journal of Trallala oder sogar mit dessen Verleger hat, lieber in Ecology of Trullala veröffentlicht, wo sein Artikel eigentlich nicht hingehört.
Dann kommt in einem Symposion einer der Schützlinge aus dem Journal und zerrupft einen Teil dieser Arbeit aus der Ecology in einer Art, dass man eigentlich in schallendes Gelächter hätte ausbrechen müssen, aber alle 400 Zuhörer applaudieren - es geht um Mathematik, und das einzige, was Biologen da können, ist zu sehen, ob das schon mal jemand so gemacht hat. Und wenn dann jemand mit großen Zahlen arbeitet, hat er automatisch Recht, und es guckt niemand nach, wie die großen Zahlen entstanden sind.
Der Inhalt des Symposions ergab einen Sonderband, den mir einer der Teilnehmer zuschickte. Dem habe ich mein Gelächter zugeschickt und bekam den Kommentar. "Ja. das kann ich nachvollziehen. Ich hatte auch gleich so ein komisches Gefühl im Bauch".
Die Geschichte ist 30 Jahre her und ohne AI.
Bei Beratungen von Doktoranden, das waren nicht viele Fälle, habe ich einmal methodische Grundfehler verhindert, die den Dr.Vater nicht aufgefallen waren und einmal eine Arbeit "gerettet", die der Dr.-Vater abblasen wollte, weil er ein methodisches "Problem" nicht lösen konnte.
Innerhalb der Biologie gehe ich davon aus, dass ein erheblicher Teil der Arbeiten entweder belanglos ist oder methodische Mängel aufweist - auch ohne AI, nur aufgrund der Tatsache, dass der wissenschaftliche Ruf nach der Anzahl der Veröffentlichungen und Zitate gemessen wird und hier Zitierkreise am Werk sind.
Ein weiteres grundsätzliches Manko, auf das erfreulicherweise inzwischen schon länger hingewiesen wird, ist, dass nur erfolgreiche Versuche veröffentlicht werden, Berichte über Misserfolge gelten nicht als Wissenschaft. Die Folge ist, dass sehr viele Versuche nur leicht variierte Wiederholungen sind, das, was ich oben als belanglos bezeichnet habe, und sehr viele Leute auch mit Versuchen beschäftigt sind, von denen man eigentlich wissen könnte, dass sie nicht zu einem Ergebnis führen, wenn sie denn veröffentlicht würden.
Die Wissenschaft stand schon immer auf einem Podest, das bei genauerer Betrachtung nicht so hoch ist, wie viele meinen.
_________________
Ich glaube an die Existenz der Welt in der ich lebe.
The skills you use to produce the right answer are exactly the same skills you use to evaluate the answer. Isso.
Es gibt keinen Gott. Also: Jesus war nur ein Bankert und alle Propheten hatten einfach einen an der Waffel (wenn es sie überhaupt gab).
|
|
| Nach oben |
|
|
Tarvoc
would prefer not to.
Anmeldungsdatum: 01.03.2004
Beiträge: 44191
|
| (#2305330) Verfasst am: 15.05.2024, 14:32 Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
|
|
| fwo hat folgendes geschrieben: | | Der Fall ist eigentlich nur insofern interessant, als der Unsinn AI-generiert war. |
Dass diese Problematik schon länger verhandelt wird, weiß ich natürlich. Aber was mich an dem Fall interessiert hat, war eigentlich nicht die A.I.-Generiertheit, sondern die Tatsache, dass ich den Unsinn besonders himmelschreiend fand und er auch für Fachfremde recht unmittelbar erkennbar ist. Bei bisherigen Unsinns-Aufsätzen, über die ich gestolpert bin, musste ich mir entweder nach einem Anfangsverdacht von Fachleuten erklären lassen, warum das Unsinn ist, oder zumindest selbst etwas Aufwand und Anstrengung investieren. Hier war das nicht so. Da springt einem der Schwachsinn geradezu ins Gesicht. Dass das durch irgendeine Prüfung durchkam, fand ich dann doch nochmal in besonderem Maße schockierend.
| fwo hat folgendes geschrieben: | | Ein weiteres grundsätzliches Manko, auf das erfreulicherweise inzwischen schon länger hingewiesen wird, ist, dass nur erfolgreiche Versuche veröffentlicht werden, Berichte über Misserfolge gelten nicht als Wissenschaft. |
Das finde ich auch besonders bedenklich. Rühmen sich die empirischen Wissenschaften nicht seit Bacons Zeiten gerade damit, dass sie insbesondere auch aus ihren Fehlschlägen lernen?
_________________
Geh mir aus der Sonne, Alexander!
|
|
| Nach oben |
|
|
fwo
Caterpillar D9
Anmeldungsdatum: 05.02.2008
Beiträge: 25915
Wohnort: im Speckgürtel
|
| (#2305331) Verfasst am: 15.05.2024, 18:06 Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
|
|
| Tarvoc hat folgendes geschrieben: | ....
Das finde ich auch besonders bedenklich. Rühmen sich die empirischen Wissenschaften nicht seit Bacons Zeiten gerade damit, dass sie insbesondere auch aus ihren Fehlschlägen lernen? |
Das tun sie leider nur in ihrem Spitzenpersonal, und das ist auch bei den Naturwissenschaften dünner gesät als in der Mathematik, in der man ohne hinreichende Abstraktionsfähigkeit einfach nicht durch die Zwischenprüfungen kommt bzw. selbst irgendwann aus Frust das Handtuch wirft. Ich musste auch lernen, dass es unüblich ist, in einer Arbeit auf eigene Schwachstellen hinzuweisen. Der Theorie nach ist Wissenschaft eine Form des Disputes, in der Praxis hat sie ganz viele Aspekte des Revierverhaltens und der Dominanz.
Um mal ein kleines Licht auf den Gemischtwarenladen der empirischen Wissenschaften zu werfen: Meine heutige Frau hat mit einer Freundin zusammen Mathe / Physik HL studiert, d.h. diese beiden Fächern zu je 2/3? oder 3/4? des jeweiligen Diplomstudienganges abgearbeitet. Ihre abschließenden Hausarbeiten (Zeitziel 4 Monate?) haben sie in einer Arbeitsgruppe der Physik gemacht. Meine Frau hat sich auf eine praktische Aufgabe geworfen, die Entwicklung einer Ionenquelle mit vorgegebenen Eigenschaften, ihre Freundin wurde von dem Arbeitsgruppenleiter gekrallt, der sich freute, einen Mathematiker zu kriegen, der die Theorie zu ihrem Arbeitsgebiet formulieren sollte. Aber helfen könne er ihr dabei nicht - wenn sie Hilfe benötigte sollte sie sich die aus der Mathematik holen.
Sie hat ca 3 Jahre gebraucht, bis sie dem Prof sagen konnte, er könne ihr das Thema jetzt stellen - sie bräuchte nur noch zusammenzuschreiben. Während dieser Zeit hatte sie sich in einen Diplomanden verliebt, der seine Diplomarbeit, eine Messreihe und ihre Auswertung, in 8 Monaten fertig hatte, und in weiteren 9 Monaten diese Messreihe mit einem anderen Material wiederholt und das dann als Dissertation abgegeben hatte. Auch er konnte ihr natürlich nicht helfen. Die praktische Arbeit meiner Frau blieb einigermaßen im zeitlichen Rahmen.
Was sagt uns das über die Qualität eines bestimmten formalen Abschlusses?
Und dann hat jede Arbeitsgruppe natürlich ihre eigene Geschichte, die ihre Auswirkungen in die Zukunft hat. Es gab mal Abends beim Bier ein Gespräch, bei dem ein älterer Prof sich über sie sinkende Qualität der Studienanfänger ausließ. Ich konnte ihm nicht wirklich widersprechen und hab ihn deshalb auf die Qualität einiger seiner Kollegen hingewiesen. Bei der Nennung eines Namens kam ein tiefer Seufzer: "Wer hätte denn damals geahnt, dass der da bleibt!" Dabei kam heraus, das sie den nehmen mussten, weil sich zu diesem Zeitpunkt kein anderer auf diese Stelle gemeldet hatte. Mir hatte ein Seminar bei dem Herrn gereicht, um zu merken, dass der selbst nicht wissenschaftlich denken konnte, weil ihm jede Fähigkeit zur Abstraktion fehlte (da sind wir wieder bei der Mathematik). Wie soll so jemand zu wissenschaftlicher Arbeit anleiten?
Eine andere Anekdote zu dem Thema: Ich bekam aus der Arbeitsgruppe eines Freundes auf dessen Tipp eine fertige Dissertation ("Nullversion") zum Korrekturlesen. Der Ausdruck, den ich bekam, war der, den schon der Dr.-Vater gegengelesen hatte - er hatte einen ganzen Kommafehler angestrichen. Nachdem ich die Arbeit gelesen hatte, waren da ziemlich viele Bemerkungen drin, über die ich mich einen Nachmittag mit dem Autor unterhalten habe. Danach hat er die Arbeit komplett umgeschrieben. (Es ging dabei weniger um die praktische Arbeit als darum, dass die ihr zugrunde liegende Logik in seinem Text nicht erkennbar war.)
Ein relativ aktuelles Beispiel aus der Coronazeit war der offen Brief "Ärzte stehen auf", der von 400 Deppen unterschrieben worden war, praktisch alle promoviert, wenn ich mich recht erinnere, 8 habilitiert.
Der Brief enthielt z.T. einen haarsträubenden Unsinn, der mir als Biologen sofort auffiel, zwei mir bekannte Mediziner, einer habilitiert, mochten sich nicht so richtig äußern, da bräuchten sie mehr Zeit dazu. Immerhin hatte dann wer festgestellt, dass das, was da geschrieben stand, auch nicht aus den Quellen zu belegen war, die angeblich benutzt worden waren. Das war dann was, wo alle beruhigt sagen konnten, dass das nicht geht. Es hat ja trotz des politischen Druckes auf dem Thema nicht mal geklappt, dass der Wissenschaftler Lauterbach jemanden abgestellt hat, auf den Unsinn zu antworten.....
Ich war auf jeden Fall heilfroh, von der Wissenschaft in die Informatik zu entkommen, wo ich nie*** streiten musste - da war ich ganz schnell eine Art Feuerwehr, der keiner in den Weg sprang.
p.s.
*** Das stimmt natürlich nur bedingt. Es war bei meiner Arbeit nur so, dass es einen "Schiedsrichter" gab, der sich einen Scheiß um Hierarchien kümmerte, und das war die Maschine bzw. der Ablieferungstermin. Ich habe nur einen Fall gehabt, in dem ich über einen Umweg den Vorstand der Firma, an die ich ausgeliehen war, gebeten habe, mir den Projektleiter aus dem Weg zu nehmen. In solchen Fällen können auch Indianer eine erstaunliche Macht entfalten, und ich habe mich nie in irgendeine Häuptlingsrolle gedrängt.
_________________
Ich glaube an die Existenz der Welt in der ich lebe.
The skills you use to produce the right answer are exactly the same skills you use to evaluate the answer. Isso.
Es gibt keinen Gott. Also: Jesus war nur ein Bankert und alle Propheten hatten einfach einen an der Waffel (wenn es sie überhaupt gab).
|
|
| Nach oben |
|
|
VanHanegem
Weltmeister
Anmeldungsdatum: 24.04.2006
Beiträge: 2975
|
| (#2305353) Verfasst am: 17.05.2024, 09:35 Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? |
|
|
| fwo hat folgendes geschrieben: |
Der Fall ist eigentlich nur insofern interessant, als der Unsinn AI-generiert war.
... |
Schon vor Jahren hat mal einer einen AI generierten Artikel (m.W. irgendein Thema aus der theoretischen Informatik) an eine Schrott Konferenz geschickt um deren Review Prozess bloßzustellen. Kann das jetzt auf die Schnelle aber nicht mehr finden (wenn das überhaupt noch im Netz ist)
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
|
|
| Nach oben |
|
|
|
FAQ 
Suchen 
Mitgliederliste 
Nutzungsbedingungen 
Benutzergruppen 
Links
Registrieren
Profil 
Einloggen, um private Nachrichten zu lesen 
Login 
