»Wenn der Abgabetermin näher rückt...«

Eine empirische Untersuchung deutschsprachiger Rechtschreib- und Grammatikprüfungssoftware

Sebastian Henzl, 01. 08. 2010, Version 1

Inhalt

  1. Einleitung
  2. Hypothese
  3. Vorstudien, Auswahl der Rechtschreib- und Grammatikprogramme, Testverfahren
  4. Ergebnis
  5. Fehlerarten: Beispiele und Belege
  6. Conclusio
  7. Quellennachweise
  8. Anhang

1. Einleitung

Die meisten Textverarbeitungsprogramme, die am Markt erhältlich sind – egal ob es sich dabei um proprietäre oder offene Software handelt –, haben eine Rechtschreibkontrolle implementiert, die, je nach Einstellung entweder automatisch oder bei Bedarf, die Texte nach Rechtschreibfehlern durchsucht und – im Idealfall – der/dem Benutzer/in bei gefundenen Fehlern Korrekturvorschläge bereitstellt. Zusätzlich zu dieser Rechtschreibkontrolle weisen einige Programme eine Grammatiküberprüfungsfunktion auf, das wohl bekannteste Beispiel ist die Grammatiküberprüfung von Microsoft Office. Darüber hinaus gibt es kommerzielle wie nicht-kommerzielle Stand-alone-Programme und Plugins, die ihrerseits versprechen, eine zuverlässige Grammatik- und Rechtschreibkontrolle bereitzustellen. Das bekannteste Beispiele hierfür ist der Duden Korrektor.

Ob nun bereits in ein Textverarbeitungsprogramm integriert oder als eigenständiges Programm vertrieben, stellen all diese Prüf- und Kontrollroutinen den Anspruch, eine sinnvolle Hilfe für die User*innen zu sein. Dies lässt sich nicht nur naheliegenderweise vermuten [1], sondern wird auch tatsächlich von den entwickelnden Firmen propagiert.

So erklärt Microsoft in den Hilfebeschreibungen des Textverarbeitungsprogramms Word 2007 für Windows in Hinblick auf die Rechtschreib- und Grammatikkontrolle:

Wenn der Abgabetermin näher rückt, reicht häufig die Zeit nicht mehr aus, ein Dokument auf Rechtschreib- und Grammatikfehler zu überprüfen. Die Microsoft Office-Programme bieten Tools, mit denen Sie diese Fehler schneller korrigieren können. Sie entscheiden, ob das Microsoft Office-Programm so eingerichtet werden soll, dass Sie schon während der Arbeit mögliche Fehler problemlos entdecken können. Empfinden Sie rote und grüne wellenförmige Linien jedoch als störend, können Sie das Dokument überprüfen, wenn Sie es fertig gestellt haben.

(Microsoft Word 2007 Hilfe, Stichwort Überprüfen der Rechtschreibung und Grammatik, Hervorhebungen S.H.)

Microsoft verspricht seinen Anwender*innen zwar nirgendwo explizit, alle Fehler zu entdecken, jedoch wird deutlich suggeriert, dass das Erkennen von möglichen Fehlern kein Problem darstellt und dies auch recht schnell geschieht [2].

Auch das kostenlose Pedant zu Microsofts Office-Suite, OpenOffice.org, beinhaltet eine Rechtschreib- und Grammatikkontrolle, zumindest findet sich in den Einstellungen des beinhalteten Textverarbeitungsprogramms Writer ein Punkt, bei dem man die Option "Grammatik während der Eingabe prüfen" (OpenOffice.org Writer 3.1, Einstellungen) (de-)aktivieren kann. Schenkt man den Einstellungen Glauben, wird die Grammatik während der Eingabe des Textes automatisch geprüft.

Noch expliziter wird der Nutzen derartiger Kontrollen bei Stand-alone-Programmen versprochen. Über das kommerzielle Rechtschreib- und Grammatikprüfungsprogramm Grammatica ist auf den Webseiten der Firma Ultralingua zu lesen:

Ultralingua's Grammatica spelling and grammar checkers allow you to proof and perfect your writing. (…) Ultralingua's Grammatica line offers high quality grammar and syntax analysis to help with your writing. [3]

(Ultralingua Products | Ultralingua, Spelling & Grammar Checkers, http://www.ultralingua.com/products)

Das Programm Grammar Check Anywhere 2009 verspricht, ein professionelles Grammatikprüfprogramm zu sein [4], überhaupt sind nach Aussagen des Unternehmens ihre eigenen Produkte die führenden am Markt: "SpellCheckAnywhere.Com is the industry leading spell check and grammar check add-on software." [5] (http://spellcheckanywhere.com/)

Der Nutzen dieser Programme liegt somit nicht mehr nur darin, "Fehler schneller korrigieren zu können", wie Microsoft dies formuliert, sondern darin, die Texte mithilfe von marktführender, professioneller Software zu perfektionieren, die über jeden Zweifel erhaben ist. Nicht derart überzeugt, dafür aber umso detailreicher schildert der Dudenverlag, was der Duden Korrektor leistet:

Die Duden-Rechtschreibprüfung hilft Ihnen bei der Korrektur Ihrer Texte genau dort, wo sie geschrieben werden: im Computer. Die Duden Korrektoren prüfen Ihre Texte auf Rechtschreibung, Grammatik, Abkürzungen, Worttrennungen, zulässige Schreibweisen, Kommasetzung, Schreibstil, Interpunktionsfehler, falsche Abkürzungen u. v. m.

(Duden, Textkorrektur am Computer, http://www.duden.de/deutsche_sprache/index.php?nid=113)

Ob die Rechtschreib- und Grammatikkontrollen die vollmundigen Versprechen ihrer Entwicklerfirmen halten können und tatsächlich zuverlässig Fehler erkennen und korrigieren, soll Gegenstand der vorliegenden Arbeit sein.

2. Hypothese

Wie bereits in der Einleitung dargelegt, stellen alle Rechtschreib- und Grammatikkontrollen den Anspruch, eine Hilfe bei der Erstellung und Korrektur von Texten zu sein. Die Hypothese dieser Arbeit lautet dementsprechend:

Die Rechtschreib- und Grammatikkontrollprogramme erkennen eine zufriedenstellend hohe Anzahl an Fehlern und können diese korrigieren [6].

3. Vorstudien, Auswahl der Rechtschreib- und Grammatikprogramme, Testverfahren

Mithilfe der zuvor formulierten Hypothesen soll geprüft werden, ob Grammatik- und Rechtschreibprogramme eine, wie in den Produktbeschreibungen versprochen, sinnvolle Hilfe bei v.a. der Korrektur von Texten darstellen.

Daniel Kies (2010) hat auf seiner Internetseite eine beeindruckende Studie zu der Zuverlässigkeit englischer Grammatikprüfungen vorgelegt. Kies testete die Kontrollprogramme anhand "the twenty most frequent usage problems found in a corpus of 3000 college essays" [7].

Die Ergebnisse der Studie von Kies bieten einen guten Ausgangspunkt für die hier vorliegende Untersuchung. Eine vergleichbare Untersuchung für die Grammatikkontrollprogramme für Deutsch wäre sicherlich interessant gewesen, nicht nur, weil sich das Versuchsdesign durch seine Nachvollzieh- und Reproduzierbarkeit auszeichnet, sondern durchaus auch, um neben dem sprachspezifischen Ergebnis eine generellere Aussage zur Zuverlässigkeit von Grammatikprüfprogrammen treffen zu können [8], war aber aus mehreren Gründen leider nicht realisierbar:

  1. Ein wie von Kies (2010) verwendetes Fehlerkorpus für die deutsche Sprache war mir nicht zugänglich bzw. ist nicht existent.
  2. Kies (2010) zeigt, dass dieselben Programme je nach Plattform unterschiedliche Ergebnisse liefern können, d.h. die Rechtschreib- und Grammatikkontrollen von Microsoft Word 2004 (Mac) erkennen 34% der Fehler, jene von Word 2003 (entspricht im Funktionsumfang im Prinzip der 2004er Version auf Mac) jedoch nur 31%. Damit diese Untersuchung überhaupt mit jener von Kies (2010) vergleichbar sein könnte, müssten dieselben Programme auf denselben Plattformen getestet werden, dies war jedoch in Ermangelung einer verfügbaren Testplattform mit Mac-OS-Betriebssystem nicht möglich.

Zu diesem Zweck wurde eine Liste von Rechtschreib- und Grammatikkontrollprogrammen zusammengestellt, die sowohl kommerzielle als auch Open-Source-Programme [9] umfasst, und deren Programme dezitiert eine deutsche Rechtschreib- und Grammatikkontrolle aufweisen. Diese Programme wurden, soweit angeboten, sowohl unter Windows XP als auch auf dem GNU/Linux-Betriebssystem Ubuntu 9.04 getestet. Die Verfügbarkeit für die GNU/Linux-Plattform ist bei einigen Programmen jedoch nicht gegeben, weshalb der Schwerpunkt der Untersuchung auf Rechtschreib- und Grammatikkontrollen für die Windows-Plattform liegt.

In der Einleitung wurden bereits einige Programme v.a. in Hinblick auf ihre Versprechen bezüglich ihres Funktionsumfangs angesprochen, die vollständige Liste der getesteten Programme und/oder Plug-ins umfasst:

Programm Lizenz getestet auf der/den Plattform/en
AbiWord GPL Windows XP, Ubuntu 9.04
Duden Korrektor Plus 5 [10] Proprietär Windows XP
Grammar Check Anywhere 2009 Proprietär Windows XP
Grammatica Proprietär Windows XP
LanguageTool 1.0 [11] LGPL Windows XP, Ubuntu 9.04
Microsoft Word 2007 Proprietär Windows XP
OpenOffice.org Writer 3.1 LGPL Windows XP, Ubuntu 9.04

Tabelle 1

Bei der vorliegenden Untersuchung wurde im Vergleich zu Kies (2010) also ein etwas anderer Weg gegangen: Das Textkorpus stellt eine Reihe von unkorrigierten Texten unterschiedlicher Länge und Herkunft dar; die größere Anzahl der Texte sind Inhaltsangaben diverser Kurzgeschichten und stammen von Schüler*innen einer allgemein höherbildenden Schule [12], ein weiterer Text, eine Seminararbeit einer nichtdeutschsprachigen Studentin wurde vom Lehrveranstaltungsleiter des Proseminars beigesteuert. Die Texte wurden zunächst von den Programmen geprüft und korrigiert, anschließend wurden sowohl die gefundenen als auch nicht gefundenen Fehler quantifiziert und klassifiziert, um eine Aussage darüber treffen zu können, welche Fehlerklassen von den Kontrollprogrammen als Fehler erkannt und welche nicht erkannt werden [13]. Bei allen Fehlerklassen wurden zusätzlich zu dem authentischen Textmaterial prototypische Beispielsätze angefertigt und den Programmen ebenfalls zur Korrektur vorgelegt.

Eine definite Erklärung, warum diverse Programme bestimmte Fehler gar nicht als Fehler erkennen oder korrekte Stellen als fehlerhaft markieren, kann aufgrund mehrerer Faktoren [14] nicht gegeben werden, sehr wohl wurde aber versucht, eine mögliche Erklärung für die Missstände der Programme zu finden.

Auch wenn die vorliegende Untersuchung der Studie von Kies (2010) nicht gleichen kann, gibt diese einen gewissen Erwartungshorizont vor. Für die 20 häufigsten Fehler in Englisch ermittelte Kies folgende Trefferquoten:

Programm Trefferquote (in %)
Word 2002, Word 2003 (Windows) 31
Word 2007 (Windows) 34
Word 97 (Windows) 24
WordPerfect 10, WordPerfect 11, WordPerfect 12 (Windows) 40
WordPerfect 8, WordPerfect 9 (Windows) 40
Word 2004 (Mac) 35
Grammarian Pro X (Mac) 50
Language Tool (plattformunabhängig) 8

Tabelle 2, nach Kies (2010)

Interessant ist dieses Ergebnis in zweierlei Hinsicht:

  1. Die höchste Trefferquote beträgt 50%, im besten Fall werden also nur die Hälfte aller Fehler gefunden. Diesen Spitzenwert erreichte jedoch nur das Mac-spezifische Programm Grammarian Pro X. Auf den Windows-Betriebssystemen ist WordPerfect mit 40% der Spitzenreiter, welches jedoch nicht in der vorliegenden Untersuchung getestet wurde. Die höhste Trefferquote der auch in dieser Untersuchung getesteten Programme hat somit Word 2007 mit 34%. Dieser Wert wurde jedoch nur für englischsprachige Korrekturprogramme ermittelt, denen von allen Korrekturprogrammen die längste Entwicklungszeit zukommt. Zudem spiegeln diese Ergebnisse nur die Erkennung der 20 häufigsten Fehler wider, bei den hier getesteten Texten handelt es sich jedoch um authentisches Textmaterial, das auch weniger frequente Fehler beinhalten kann. Es ist somit durchaus nicht unrealistisch, anzunehmen, dass die Testergebnisse der deutschen Kontrollen nicht wesentlich besser sein werden.
  2. Vergleicht man die Versionen der einzelnen Programme, lässt sich feststellen, dass die Trefferquote trotz der Weiterentwicklungen der Programme nicht oder nur sehr gering angestiegen ist. Zuverlässig arbeitende Grammatikprüfungen scheinen somit auch für die nähere Zukunft nicht realistisch zu sein.

Aus diesen Überlegungen ergibt sich die Erwartung, an der sich die getesteten Programme messen und die sie übertreffen müssen, um die in der Hypothese angesprochene zufriedenstellend hohe Anzahl an Fehler erkennen und korrigieren zu erreichen.

4. Ergebnis

Die aus der Untersuchung resultierenden Ergebnisse bestätigen die Erwartungshaltung. Keine der Rechtschreib- und Grammatikprüfungen konnte überzeugen. Während die Ergebnisse im Bereich der erkannten Fehler die ohnehin schon nicht allzu optimistischen Erwartungen zumindest erfüllen oder bei v.a. dem Duden Korrektor mit 53% erkannter Fehler sogar übertreffen, sind die Ergebnisse für die richtig korrigierten Fehler unbefriedigend; auch hier ist der Duden Korrektor Spitzenreiter, allerdings mit dem äußerst bescheidenen Wert von knapp 29% korrigierten Fehlern. Die zweit- und drittplatzierten Rechtschreib- und Grammatikkontrollprogramme, die in Word 2007 integrierte Kontrolle sowie GrammarCheckAnywhere 2009, korrigierten lediglich 17% bzw. 16% aller Fehler und sind damit, sieht man von LanguageTool ab, schlechter als alle von Kies (2010) getesteten Programme.

Sieht man sich die Ergebnisse in absoluten Zahlen an, fällt auf, dass v.a. die von ihren Herstellerfirmen angepriesenen Stand-alone-Produkte Grammatica und GrammarCheckAnywhere 2009 eine besonders hohe Anzahl an False Positives [15] produzieren, ebenso wie die in AbiWord integrierte Kontrollroutine. Diese und die immer wieder verwirrenden und schlichtweg falschen Rückmeldungen und Empfehlungen der Programme (vgl. 5. Fehlerarten: Beispiele und Belege) trüben das ohnehin nicht berauschende Ergebnis nochmals.

Die nachstehende, nach der Zuverlässigkeit der Programme geordnete Tabelle bietet eine vollständige Übersicht über die Ergebnisse. Im mittleren Teil der Tabelle (Spalte 2-5) finden sich die absoluten Zahlen (False Negatives [16], Gesamtzahl der erkannten Fehler [17], Anzahl der korrigierten Fehler und Anzahl der False Positives, v.l.n.r.), im rechten Teil sind einerseits die erkannten inkl. korrigierten Fehler sowie nur die korrigierten Fehler in Prozentpunkten (Spalte 6-7, v.l.n.r.) notiert, andererseits ein Gesamtscore der Programme verzeichnet (Spalte 8, hellblau unterlegt), der die Zuverlässigkeit der Programme unter Berücksichtigung der erkannten und korrigierten Fehler ausdrückt [18].

Absolute Zahlen < ges. % Pt.
Programm fn erk. korr. fp erk. korr. ges.
               
Duden Korrektor Plus 5 54 63 34 1 52,58 28,88 69,0
Grammatica 71 46 20 18 38,96 14,79 12,5
Word 2007 86 31 23 4 24,57 17,08 7,0
GrammarCheckAnywhere 2009 84 33 20 12 26,76 16,07 -1,0
OpenOffice.org Writer 3.1 89 28 18 3 23,56 13,71 -1,5
AbiWord 83 34 18 14 28,34 13,71 -3,5
LanguageTool 1.0 92 25 12 1 20,15 8,96 -10,0

Tabelle 3

Während der Duden Korrektor von allen getesteten Programmen die größte Anzahl an Fehlern erkennt und auch bei den korrigierten Fehlern absolut gesehen an erster Stelle steht, lässt das Gesamtergebnis dennoch nicht den Schluss zu, dass eine bessere Fehlererkennung tendenziell auch zu einer besseren Fehlerkorrektur führt. So steht Grammatica mit 39% an zweiter Stelle im Fehlererkennungsranking, kann jedoch nur 14,8% der Gesamtfehler ausbessern und liegt damit sowohl hinter Word 2007 als auch GrammarCheckAnywhere 2009. Einzig die Ergebnisse von OpenOffice.org Writer und LanguageTool lassen sich nach dieser Logik interpretieren: Die jeweils recht niedrigen Werte bei der Fehlererkennung (23,6% bzw. 20%) wirken sich auch auf die Fehlerkorrektur aus (13,7% bzw. 9%).

Ein interessantes Bild bietet sich, wenn man eine Reihung nach den korrigierten Fehlern relativ zu jenen, die erkannt wurden, vornimmt. Hier liegt die Rechtschreib- und Grammatikkontrolle in Word 2007 voran, die zwar nur 24,6% aller Fehler identifiziert, korrigiert von diesen aber knapp mehr als 74% korrigiert. Ebenso korrigiert OpenOffice.org Writer recht zuverlässig Fehler (64,3%), vorausgesetzt, die integrierten Prüfungen finden diese überhaupt, während der Duden Korrektor nur für 54% der gefundenen Fehler auch den richtigen Lösungsvorschlag anbieten kann (vgl. Tabelle 4).

  Absolute Zahlen < ges. %  korr. %
Programm fn erk. korr. fp erk. korr. rel. zu erk.
               
Word 2007 86 31 23 4 24,57 17,08 74,19
OpenOffice.org Writer 3.1 89 28 18 3 23,56 13,71 64,29
GrammarCheckAnywhere 2009 84 33 20 12 26,76 16,07 60,61
Duden Korrektor Plus 5 54 63 34 1 52,58 28,88 53,97
AbiWord 83 34 18 14 28,34 13,71 52,94
LanguageTool 1.0 92 25 12 1 20,15 8,96 48,00
Grammatica 71 46 20 18 38,96 14,79 43,48

Tabelle 4

5. Fehlerarten: Beispiele und Belege

Wie bereits gezeigt, arbeiten die Rechtschreib- und Grammatikkontrollen sowohl bei der Erkennung als auch der Korrektur von Fehlern insgesamt nicht besonders zuverlässig, der Spitzenwert der im Gesamten erkannten Fehler liegt bei 52,6%, der der korrigierten Fehler bei 28,9% (beides Duden Korrektor). Die bei der Untersuchung herangezogenen Texte unterschieden sich dabei sowohl in ihrer Fehleranzahl und -frequenz, wie auch in der Art der Fehler. Vor allem die Fehlerart hatte eine Auswirkung auf das Ergebnis. So wurden Texte, bei denen Fehler tendenziell eher zu Nicht-Wörtern [19] geführt hatten, zuverlässiger korrigiert als Fehler, deren Erkennen eine Analyse des Satz- oder zumindest Wortkontextes verlangt, wie z.B. Kongruenzfehler; so konnten im Rahmen der Untersuchung Spitzenwerte bei der Fehleridentifikation von über 56% und bei der Korrektur von über 35% (beide: Duden Korrektor) beobachtet werden. Texte mit erhöhter Nicht-Wort-Frequenz wurden aber von allen Prüfprogrammen mit Rechtschreibkontrolle [20] zuverlässiger korrigiert. Im Folgenden sollen in aller Kürze einige Fehlerarten, die besonders häufig aufgetreten, (nicht) erkannt, (nicht) korrigiert wurden sowie die Rückmeldungen der Prüfungen erwähnt werden.

Nach der Klassifizierung der Fehler wurden sowohl für die einzelnen Fehlergruppen typische, konstruierte Beispielsätze, als auch welche aus den geprüften Texten erneut getestet. Dabei hat sich bestätigt, dass Kongruenzfehler, Fehler in der Groß- und Kleinschreibung und jene Fehler, die ich unter der sehr offen formulierten Gruppe »Weitere Rechtschreibfehler« zusammengefasst habe, von den Rechtschreib- und Grammatikprüfungen am ehesten erkannt und korrigiert werden (für eine vollständige Übersicht vgl. Tabelle 5). Kongruenzfehler, wie sie die Sätze (1) und (2) aufweisen, wurden von allen Programmen (mit Ausnahme von OpenOffice.org Writer) recht zuverlässig erkannt, konnten jedoch nicht korrigiert werden; lediglich Word 2007 bot hierbei eine Ausnahme. Im Bereich der Groß- und Kleinschreibung (Sätze (3) und (4)) konnten alle Programme ein oder mehr Fehler ausmachen und diese teilweise verbessern, alleine AbiWord konnte nur einen Fehler finden und für diesen keine Korrekturmöglichkeit anbieten, dafür punktete das in vielen anderen Kategorien eher abgeschlagene LanguageTool hier mit den meisten identifizierten wie auch korrigierten Fehlern [21]. Die meisten Fehler der Gruppe »Weitere Rechtschreibfehler«, wie in den Sätzen (5)-(7), lassen sich auf Nicht-Wörter zurückführen und recht leicht korrigieren (vgl. [19]); bis auf LanguageTool konnten alle Programme Fehler dieser Kategorie identifizieren und diese zumindest teilweise korrigieren, wenngleich der Duden Korrektor bei den Korrekturvorschlägen deutliche Schwächen zeigte.

Sätze wie (7), die zwar einen Tipp- oder Rechtschreibfehler aufweisen, bei dessen Identifizierung allerdings die Semantik allerdings nicht außer acht gelassen werden kann, bilden den Übergang zu einer Fehlergruppe, die von keinem der getesteten Programme erkannt wurden: Die Gruppe der »semantischen Fehler«, wie in (8). Ebenso konnten die Fehlerkategorien »Falsche Präpositionen« (Sätze (9) und (10)), »Falsche Tempus-/Modus-Verwendung« (11) und »Falsches Wort« (12) von keinem, die Gruppen »Falscher Kasus« (v.a. bei Argumenten, Sätze (13)-(14)), »Zeichensetzung« (15) und »Satzstellung« (16) nur von vereinzelten Programmen identifiziert werden, wobei bei letzterer das eigentliche Problem der Satzstellung vom Duden Korrektor durch zusätzliche Beistriche gelöst wurde (17).

Die beiden verbleibenden Kategorien »(Nicht) Trennbare Präfixe« und »Zusammen- und Getrenntschreibung« werden zwar prinzipiell von mehreren Prüfprogrammen erkannt, eine Fehlerkorrektur ist aber nicht die Regel.

Erkennt eines der Rechtschreib- und Grammatikprüfungen einen Fehler, muss – wie bereits gezeigt – dies nicht heißen, dass auch eine richtige Korrektur vorgeschlagen wird. Grammatica empfiehlt im Falle eines Kongruenzfehlers schlichtweg "Fehlende Kongruenz (in Genus, Numerus oder Kasus) in der Substantivgruppe", der Duden Korrektor empfiehlt ebenfalls zu überprüfen, "ob das Hauptwort, sein Geschlechtswort und eventuell gegebene Eigenschaftswörter in Fall, Zahl und Geschlecht übereinstimmen" – sofern man nicht den Expertenmodus aktiviert hat, denn dann muss man "das Substantiv, seinen Artikel und eventuell gegebene Adjektive in Kasus, Numerus und Genus übereinstimmen". Michael Shaughnessy, ein Deutschlehrer am Washington & Jefferson College vertritt auf der Internetseite des Colleges die Meinung, "that if you can understand 'Kongruenz, (sic!) Überprüfen Sie die Flexionsformen der Ausdrücke Bruder und Meine' then you should also be able to know that the correct form is simply 'mein'" [22] Sollte man entgegen Shaughnessys Meinung doch die korrekte Form nicht selbst wissen, ist man v.a. bei den beiden Stand-alone-Lösungen Grammatica und GrammarCheckAnywhere 2009 nicht besonders gut aufgehoben: Grammatica bietet als Korrekturvorschlag – anscheinend unabhängig vom Kontext des Fehlers – alle möglichen Flexionsformen diverser möglicher Wörter an, während GrammarCheckAnywhere überhaupt keine Rückmeldung zur Art des Fehlers gibt, sondern stattdessen nur eine Liste an Wortformen. Die anderen Programme geben zumindest, so sie keinen Verbesserungsvorschlag haben, eine Erklärung des Fehlers an.

Noch fataler als die User*innen nur mit einer für dieselben mitunter nicht sehr hilfreichen Rückmeldung, aber ohne Korrekturvorschlag oder mit einer Unzahl an möglichen richtigen Wortformen alleine zu lassen, ist es jedoch, wenn Programme einen Fehler zu erkennen scheinen, diesen aber auf eine falsche Fehlerquelle zurückzuführen [23] oder überhaupt nicht existente Fehler rückmelden. So kann es leicht sein, dass in einem Satz wie (18) die Kongruenz der Substantivgruppe überprüft werden soll (Grammatica), ein Junge zu einem Jünger und aus zusammengesackten Mauern plötzlich zusammengesuchte oder zusammengepackte Mauern gemacht werden sollen, weil das Programm versichert, dieses Wort nicht zu kennen (GrammarCheckAnywhere 2009, Grammatica, AbiWord) oder statt einem weißem Kaninchen plötzlich ein weises Kaninchen hergeschenkt wird (ebenfalls GrammarCheckAnywhere 2009).

Nicht zu unrecht ist bei Diskussionen über Grammtikprüfungen immer wieder die Rede von "bloatware" [24] und davon, dass "a grammar checker would be a good idea if (…) it is well implemented" [25] und "didn't try to 'improve your style'" [26] (vgl. http://developers.slashdot.org/article.pl?sid=05/10/15/1312216)

6. Conclusio

Ein Blick auf die Ergebnisse der Stichprobentestung (vgl. Tabelle 5) bestätigt das in Summe ebenso nicht befriedigende Gesamtergebnis (vgl. Tabelle 3 und Tabelle 4). Neben den, wie die Untersuchung von Kies (2010) zeigt, seit Jahren nicht verbesserten Schwächen bei sowohl der Fehlererkennung als auch -korrektur für Englisch wie dem in diesen Bereichen ebenfalls für die deutsche Rechtschreib- und Grammatikprüfung schwachen Ergebnis in Verbindung mit weiteren Problemen mit den Korrekturprogrammen wie unzulänglichen, manchmal verwirrenden Rückmeldungen und Korrekturvorschlägen oder der teilweise hohen Anzahl an False Positives kann man m.E.n. nicht davon sprechen, dass man mithilfe von "marktführende(r) Rechtschreib- und Grammatikprüf-Add-on-Software" (GrammarCheckAnywhere) "mögliche Fehler problemlos entdecken" (Microsoft Word 2007) und seine eigenen Texte "überprüfen und perfektionieren" (Grammatica) kann, wiewohl man das Ergebnis bei genauerer Betrachtung differenzieren muss. Um einfache Rechtschreib-, Tipp- und Schlampigkeitsfehler in Texten rasch aufzuspüren, kann eine Rechtschreib- und Grammatikprüfung wertvolle Dienste leisten, bei etwas schwierigeren bis komplizierten grammatischen Streitfragen und Fehlern sollte man sich m.M.n. nicht auf eine Software verlassen.

Wieviel einem persönlich ersteres wert ist, muss jede*r für sich entscheiden.

7. Quellennachweis

Carstensen, K.-U. et al. (2004): Computerlinguistik und Sprachtechnologie. Eine Einführung, München: Spektrum Akademischer Verlag

Connolly, J. H. (1989): Functional grammar and the computer, Dondrecht: Foris

Farghaly, A. (2003): Handbook for language engineers, Stanford: CSLI

Grinberg, D., Lafferty J. & Sleator D. (1995): A Robust Parsing Algorithm for Link Grammars, Pittsburgh: School of Computer Schience, Carnegie Mellon University

Kies, Daniel (2010): Evaluating Grammar Checkers: A Comparative Ten-Year Study, online abrufbar unter http://papyr.com/hypertextbooks/grammar/gramchek.htm (letzter Aufruf: 24.07.2010)

Shaughnessy, Michael: German Grammar Check for MS Word – How To Guide, online abrufbar unter http://www.washjeff.edu/german/grammar.htm (letzter Aufruf: 09.07.2010)

Slashdot (2005): AbiWord beats OpenOffice to a Grammar Checker, online abrufbar unter http://developers.slashdot.org/article.pl?sid=05/10/15/1312216 (letzter Aufruf: 22.06.2010)

Anhang

A) Übersicht über Fehlerkategorien und ausgewählter authentischer sowie konstruierter Beispielsätze (Stichproben)

Satzstellung
Falscher Kasus bei Argumenten (v.a. Dativ statt Akkusativ)
(Nicht) Trennbare Präfixe bei Verben
Fehlende Kongruenz
Falsche Präposition
Falsche Tempus/Modus-Verwendung
Falsche/s Wort/-form
Zeichensetzung
Zusammen- und Getrenntschreibung
Groß- und Kleinschreibung
Weitere Rechtschreibfehler
Semantik

B) Übersicht Fehlererkennung und –korrektur der Stichproben

  Satzstellung Falscher Kasus (Nicht) Trennbare Präfixe
ges. erk. korr. fp ges. erk. korr. fp ges. erk. korr. fp
OpenOffice 7 0 0 0 5 0 0 0 4 1 0 0
LanguageTool 7 0 0 5 5 0 0 1 4 0 0 1
GrammarCheckAnywhere 7 0 0 1 5 0 0 0 4 1 0 0
Grammatica 7 0 0 1 5 0 0 1 4 2 0 1
Duden Korrektor 7 1 1 0 5 0 0 0 4 3 1 0
AbiWord 7 0 0 3 5 1 0 0 4 1 0 0
Word 2007 7 1 1 0 5 1 1 0 4 1 0 0
  Fehlende Kongruenz Falsche Präpositionen Falsches/r Tempus/Modus
ges. erk. korr. fp ges. erk. korr. fp ges. erk. korr. fp
OpenOffice 7 0 0 0 4 0 0 0 2 0 0 2
LanguageTool 7 3 0 3 4 0 0 1 2 0 0 2
GrammarCheckAnywhere 7 4 0 1 4 0 0 2 2 0 0 1
Grammatica 7 5 0 0 4 0 0 1 2 0 0 1
Duden Korrektor 7 5 0 0 4 0 0 1 2 0 0 0
AbiWord 7 1 0 0 4 0 0 2 2 0 0 3
Word 2007 7 4 3 0 4 0 0 1 2 0 0 0
  Falsches Wort Zeichensetzung Getrennt-/ Zusammenschreibung
ges. erk. korr. fp ges. erk. korr. fp ges. erk. korr. fp
OpenOffice 3 0 0 0 5 0 0 0 3 1 1 0
LanguageTool 3 0 0 1 5 0 0 3 3 0 0 1
GrammarCheckAnywhere 3 0 0 1 5 0 0 3 3 1 0 1
Grammatica 3 0 0 4 5 0 0 0 3 1 0 1
Duden Korrektor 3 0 0 0 5 1 1 1 3 3 2 0
AbiWord 3 0 0 2 5 0 0 4 3 1 1 0
Word 2007 3 0 0 0 5 0 0 0 3 1 0 0
  Groß-/Kleinschreibung Sonst. Rechtschreibfehler Semantik
ges. erk. korr. fp ges. erk. korr. fp ges. erk. korr. fp
OpenOffice 6 1 1 0 6 4 3 1 5 0 0 0
LanguageTool 6 5 4 3 6 0 0 3 5 0 0 1
GrammarCheckAnywhere 6 2 1 2 6 4 3 0 5 0 0 1
Grammatica 6 3 3 1 6 3 2 1 5 0 0 0
Duden Korrektor 6 3 3 0 6 4 1 0 5 0 0 0
AbiWord 6 1 0 0 6 5 4 1 5 0 0 1
Word 2007 6 2 2 0 6 4 3 0 5 0 0 0
  Absolute Zahlen < ges. %
ges. erk. korr. fp erk. korr.
OpenOffice 57 7 5 3 12,28 8,77
LanguageTool 57 8 4 25 14,04 7,02
GrammarCheckAnywhere 57 12 4 13 21,05 7,02
Grammatica 57 14 5 12 24,56 8,77
Duden Korrektor 57 20 9 2 35,09 15,79
AbiWord 57 10 5 16 17,54 8,77
Word 2007 57 14 10 1 24,56 17,54

Tabelle 5

Anmerkungen

[1] Besonders bei kommerziellen Programmen wäre es vollkommen absurd und wider jeder Marktlogik und Wirtschaftlichkeit, eine Funktion, die bei ihrer Entwicklung Ressourcen verbraucht, zu integrieren, die keinen Zweck zu erfüllen hat. Als Einwand könnte man nun sogenannte Easter Eggs ins Treffen führen, Funktionen, die keinen Nutzen an sich haben, diese sind in der Regel allerdings undokumentiert und meist über geheime Tastenkombinationen erreichbar; aus den eben genannten Gründen trifft dieser Einwand auf Grammatik- und Rechtschreibkontrollen in keiner Weise zu (vgl. u.a. Wikipedia).

[2] auch wenn m.E.n. hier die Verwendung des Komparativs schneller irritiert

[3] Ultralinguas Grammatica-Grammatik- und Rechtschreibprüfung ermöglicht Ihnen Ihren Text zu überprüfen und perfektionieren. (...) Ultralinguas Grammatica-Produktlinie stellt eine qualitativ hochwertige Grammatik- und Syntaxuntersuchung zur Verfügung, die Sie bei der Texterstellung unterstützt. (Übersetzung S.H.)

[4] "Grammar Check Anywhere is a professional grammar check and spell check software" (Grammar Check Anywhere Adds Grammar Check To All Programs, http://www.spellcheckanywhere.com/grammar_check/grammar_check.asp) – Grammar Check Anywhere ist eine professionelle Grammatik- und Rechtschreibprüfsoftware. (Übersetzung S.H.)

[5] SpellCheckAnywhere.Com ist die marktführende Rechtschreib- und Grammatikprüf-Add-on-Software. (Übersetzung S.H.)

[6] Korrigieren meint in diesem Zusammenhang als Minimalstandard, Fehler als solche zu markieren und den Benutzer*innen rückzumelden, dass und um welchen Fehler es sich hierbei handelt; im Bestfall natürlich, sinnvolle Korrekturvorschläge zu machen.

[7] der zwanzig in einem Korpus von 3000 College-Essays am häufigsten auftretenden Probleme (Übersetzung S.H.)

[8] Eine vergleichbare Untersuchung für die deutsche Sprache hätte auch Rückschlüsse zugelassen, ob die Zuverlässigkeit von der jeweils geprüften Sprache (Englisch, Deutsch, Französisch, etc.) abhängt oder ob die Probleme der Kontrollroutinen – und dass diese zumindest für Englisch vorhanden sind, zeigt Kies‘ Studie ohne Zweifel – eher auf eine allgemeine Unzulänglichkeit maschineller Verarbeitung natürlicher Sprache zurückzuführen ist.

[9] Open Source muss natürlich nicht bedeuten, dass das Programm in seinem Erwerb und der Verwendung gratis ist (vgl. z.B. die GNU GPL, abrufbar unter http://www.gnu.org/licenses/gpl.html), in diesem Fall sind die getesteten Open-Source-Programme auch kostenlos zu erwerben bzw. downzuloaden.

[10] Der Duden Korrektor kann unter Windows je nach erworbener Version sowohl in Microsoft Word als auch in OpenOffice.org Writer integriert werden und ersetzt dort die standardmäßig vorhandenen Rechtschreib- und Grammatikkontrollen. Ursprünglich war geplant, den Duden Korrektor auch mit OpenOffice.org Writer zu testen, dies konnte aus Performance-Gründen (eine Texteingabe in Writer war mit der geladenen Duden-Extension nicht mehr möglich) jedoch nicht durchgeführt werden.

[11] LanguageTool ist ein plattformunabhängiges Programm, das als javabasierte Stand-alone-Version oder als Add-on für OpenOffice.org Writer zur Verfügung steht. Im Rahmen der Untersuchung wurde die Stand-alone-Version getestet. Beide Versionen stellen jedoch denselben Funktionsumfang bereit.

[12] an dem ich zur Zeit der Abfassung dieser Arbeit als Sondervertragslehrer angestellt ist und Deutsch unterrichtet

[13] Hierbei handelt es sich nur um grobe Tendenzen, da es – um dem Ergebnis schon ein wenig vorzugreifen – in jeder Fehlerklasse Fehler gab, die von den Kontrollen nicht erkannt wurden.

[14] Die meisten der getesteten Programme sind proprietär, d.h. der Quellcode ist nicht einsehbar. Bei diesen Programmen gestaltet sich die Ursachenforschung naturgemäß schwieriger, da ohne weitere Ausschlusstests nur Mutmaßungen über die Gründe der Unzulänglichkeiten der Programme getroffen werden kann; aber selbst bei den wenigen gestesteten, Open-Source-Programmen ist die Ursache nicht immer klar und hängt u.a. von dem verwendeten Parser, dem zugrunde liegenden Algorithmus bzw. Verfahren ab. Zudem sind die Funktionsweisen existierender Prüfprogramme nicht Gegenstand von Fachliteratur.

[15] Als False Positives werden vermeintliche Fehler bezeichnet, die von der Prüfung als Fehler erkannt werden, tatsächlich aber gar keine Fehler sind. Grammatica z.B. erkennt bei Satz (A) einen Fehler und meldet zurück: »[lange] > Wort ist unbekannt. Prüfen Sie die Rechtschreibung.«
(A) Ich habe so lange auf den Mann gewartet.

[16] Als False Negatives werden jene Fehler bezeichnet, die von den Kontrollprogrammen nicht erkannt werden. False Negatives und False Positives (vgl. [15]) zusammengerechnet ergeben die Gesamtzahl der in den Texten vorhandenen Fehler (117).

[17] inkl. korrigierter Fehler

[18] Die Gesamtscore errechnet sich aus gefundenen (je +1), korrigierten (je +1). nicht gefundenen (je -0,5) und vermeintlichen Fehlern (je -1) und beträgt maximal 234 Punkte; als Formel notiert:
Gesamtscore = [Anz. erk.] x 1 + [Anz. korr.] x 1 – [Anz. fp] x 1 – [Anz. fn] x 0,5

[19] Als Nicht-Wort wird eine nicht im Lexikon des Prüfprogramms enthaltene (Wort-)Form bezeichnet, die auch nicht mittels Flexions-, Derivationsaffixen und –mustern o.Ä. hergeleitet werden können. Vereinfacht gesagt, handelt es sich dabei um ein Wort, dass das Programm nicht kennt und unter Zuhilfenahme seiner Algorithmen auch nicht herleiten kann. Typische Nicht-Wörter wie z.B. * Lefder (entstanden aus Leder + Tippfehler) können recht einfach identifiziert werden (sieht man von schwierigeren Fällen ab, wie z.B. * Museums, einer Wortform, die aus dem Singular plus einem Pluralsuffix gebildet wurde und somit u.U. nicht als Nicht-Wort erkannt wird); mithilfe diverser Methoden wie z.B. der Minimal Edit Distance können anschließend zu diesen Nicht-Wörtern recht einfach entsprechende Korrekturvorschläge berechnet werden.

[20] Dies trifft auf alle getesteten Programme mit Ausnahme von LanguageTool zu.

[21] Leider meldete es auch die meisten False Positives im Bereich der Groß- und Kleinschreibung, nämlich drei. Dies mag u.U. auch daran liegen, fast ausschließlich alle False Positives der Beispielsätze von LanguageTool dasselbe Muster aufweisen: Das erste Wort eines Satzes, sofern dieser neben einem Aufzählungs-/Listenzeichen steht, wird offenbar nicht als Satzanfang angesehen und somit in allen Fällen (außer bei Substantiven und Eigennamen) empfohlen, das Wort klein zu schreiben. Nichts desto Trotz ist ein derartiger Bug in einem Plug-in für ein Textverarbeitungsprogramm (OpenOffice.org) m.E.n. inakzeptabel.

[22] Wenn man „Kongruenz: Überprüfen Sie die Flexionsformen der Ausdrücke Bruder und Meine“ versteht, sollte man in der Lage sein zu wissen, dass die korrekte Form einfach „mein“ ist. (Übersetzung S.H.) Shaughnessy bezieht sich dabei auf den von ihm gestesteten Satz
(B) * Das ist meine Bruder

[23] Besonders deutlich wurde dies bei Satz (C), bei dem all jene Programme, die einen Fehler auszumachen schienen, diesen bei dem Pronomen und nicht bei der Präposition verorteten.
(C) * Ich habe lange [über] [diesen] Mann gewartet.

[24] ein das Programm unnötig aufblähendes Feature (Übersetzung S.H.)

[25] eine Grammatikprüfung eine prima Idee wäre, würde sie gut in die Software integriert sein (Übersetzung S.H.)

[26] nicht versuchen würde, den Schreibstil der User*innen zu verbessern (Übersetzung S.H.)