Automatische Erkennung von Akzentuierungen und Phrasierungen in Sprachsynthesekorpora

Akzent (auch Wortakzent, engl. stress) bezeichnet die Stellen von Wörtern, die akzentuiert, also hervorgehoben werden können: „Word stress […] is the position in a word to which a phonetic accent may be assigned.“ (Gibbon 1998, S. 80)

Es stellen sich zwei Fragen: Welches sind die Stellen, die hervorgehoben werden können? Und: Welcher Art sind diese Stellen? Letztere Frage, die Frage nach den Konstituenten, den akzenttragenden Elementen wird zuerst beantwortet.

Chomsky und Halle (1968, nach Hirst und Di Cristo 1998, S. 8) gingen noch davon aus, dass der Akzent ein segmentales Merkmal der Vokale in einem Wort ist. Die Versprecherforschung widerlegt diese Annahme, da das Vertauschen von Vokalen in einem Wort die Akzentposition meist nicht mitvertauscht:

Akzent wird deswegen besser als abstraktes Merkmal auf Silbenebene repräsentiert. Welche möglicherweise akzenttragenden Silben sind nun akzentuiert? Akzent ist, wie bereits erwähnt, ein lexikalisches System. Teilweise dient die Akzentposition der Unterscheidung von segmental homophonen Wörtern:

Insbesondere die Ungleichverteilung der Akzente spricht aber dagegen, dass die Akzentposition systematisch zwischen Wörtern unterscheidet. Mengel (2000, S. 161) berichtet, dass bei zweisilbigen Wörtern das Verhältnis Erstakzentuierung zu Zweitakzentuierung bei 6 : 1 liegt. Dies spricht für eine überwiegend regelgeleitete Zuweisung des Wortakzents.

Nach Gibbon (1998, S. 80) tragen native Wortstämme des Deutschen den Akzent auf der ersten Silbe, während er bei fremden Wortstämmen auf der letzten oder vorletzten Silbe liegt. Es liegt also nahe, dass der Akzent fremder Wörter lexikalisch repräsentiert wird, während er für native Stämme fest auf der ersten Silbe liegt. Für manche Fremdwörter kann sich zudem der Wortakzent verschieben wie in „Marzipan“ (ursprünglich MarziPAN, häufig auch MARzipan; Mengel 2000, S. 177).

Affixe, die Wortstämme zu Wörtern ableiten, können (1) den Akzent innerhalb des Stammes verändern, (2) den Akzent tragen oder (3) sich neutral verhalten (Gibbon 1998, S. 81). Durch die Ableitung ergibt sich insgesamt ein freier Akzent: Die akzentuierte Silbe eines Wortes kann prinzipiell an jeder Position stehen.^[2]

Die Kompositabildung im Deutschen führt dazu, dass Wörter mehr als einen Akzent tragen können. Die Akzente werden dann in einer Akzenthierarchie in Haupt- und Nebenakzent unterteilt (Neppert 1999, S. 167).

Die Rangfolge der Akzente innerhalb der Akzenthierarchie bestimmt sich aus der Semantik des Kompositums: Im Normalfall beschreibt die erste Komponente die zweite und erhält deswegen den Hauptakzent. Verstärkt hingegen die erste Komponente die zweite, beschreibt sie aber nicht näher, erhält sie den Nebenakzent (Mengel 2000, S. 11). Einige Komposita sind gerade dadurch Minimalpaare:

Die metrische Phonologie spezifiziert die Akzenthierarchie weiter. Nicht nur die Rangfolge von Akzenten untereinander, sondern alle Silben werden hinsichtlich ihres Akzents strukturiert. Die genaue Darstellung dieser Theorien würde hier den Rahmen sprengen, insbesondere weil im Praxisteil keine weitere Strukturierung der Silben im Wort vorgenommen wird.

Die Junktur strukturiert den Sprechstrom durch Grenzsignale. Neppert versteht unter der Junktur die „mehr oder weniger verbindende oder abgrenzende Übergangsart“, die „durch ihre Gliederungsfunktion in erheblichem Maße zur Verstehbarkeit des Gesprochenen“ beiträgt (Neppert 1999, S. 190).

Als Grenzsignale wirken alle suprasegmentalen Merkmale, Eigenschaften der segmentalen Elemente (Dehnung, Aspiration, Qualität) sowie segmentale Elemente ohne eigenen Phonemstatus. Letzteres betrifft den Glottalverschluss vor wortinitialen Vokalen im Deutschen und Pausen im Allgemeinen. Im Regelfall wird ein Grenzsignal durch eine Kombination von Merkmalen repräsentiert (Neppert 1999, S. 156).

Neppert bezeichnet auch die Signale selbst als Junkturen und unterscheidet interne geschlossene und externe offene Junkturen (Neppert 1999, S. 188). Externe offene Junkturen liegen immer an Morphem- oder Wortgrenzen. Nur sie können akustisch manifestiert sein. Interne geschlossene Junkturen hingegen stehen für die Tatsache, dass eben keine mögliche Grenze vorliegt und deswegen auch keine Grenzsignale manifestiert sein können.

Im folgenden (englischen) Beispiel ist die Silbengrenze von „nitrate“ nicht markiert, da es sich um eine interne geschlossene Junktur handelt. „night rate“ hingegen hat eine externe offene Junktur, sodass die Silben stärker voneinander abgegrenzt sind.

Die Junktur hilft also dabei, die im Sprechstrom enthaltenen Silben, Morpheme und Wörter zu dekodieren. Sie ist nicht nur verständnisunterstützend, sondern häufig auch disambiguierend. Das beliebte Beispiel „Staubecken“ ist einerseits in Flusstälern andererseits in Studentenwohnungen anzutreffen.

Die Gliederungsfunktion der Junktur wirkt auf allen prosodischen Ebenen. Was sind also die Konstituenten der Junktur? Untere anderem zeigt Pétursson (1978, nach Neppert 1999, S. 190), dass externe offene Junkturen nur an Morphemgrenzen auftreten können, sodass kleinere Konstituenten für Junkturen ausgeschlossen sind.

Da Junkturen auf mehreren Ebenen wirken, liegt es nahe, dass die Konstituenten mit der jeweiligen Funktion verbunden sind: Signale zur Abgrenzung zwischen Morphemen wirken auf Silbenebene beziehungsweise an den Grenzen zwischen Silben. Signale zur Abgrenzung von Wörtern und größeren Einheiten wirken an den respektiven Grenzen, teilweise schon im Vorfeld der Grenze.

Die Junktur bestimmt insbesondere auch den Zusammenhalt zwischen Wörtern. Vor allem werden durch Grenzsignale Wortgruppen voneinander abgegrenzt. Die Funktion dieser Abgrenzung ist sowohl syntaktisch, als auch semantisch motiviert, jedenfalls werden strukturelle Grenzen im Sprechstrom markiert (Günther 1999, S. 70).

Damit steuert die Junktur die Einteilung des Gesagten in Phrasen. Im Rahmen dieser Arbeit ist besonders die Phrasierungsfunktion der Junktur wichtig.

Zur Konstituentenstruktur von Phrasen gibt es widersprüchliche Ansichten. Als kleinstes mögliches Element der Phrasierung gilt das Wort. Dies verdeutlicht auch folgendes Beispiel, bei dem innerhalb der Wörter jeweils keine phrasierende Junktur vorkommen kann:

Viele Autoren unterscheiden darauf aufbauend unterschiedlich viele verschachtelte Ebenen (Grice und Baumann 2000, S. 28). Der im folgenden Abschnitt vorgestellte Tonsequenzansatz unterscheidet die intermediäre Phrase und die aus intermediären Phrasen aufgebaute Intonationsphrase.

Die Intonationsphrase entspricht in etwa einem Satz (Grice und Baumann 2000, S. 29), wobei Satz „als eine in sich geschlossene Ausdruckseinheit“ (Neppert 1999, S. 157) zu verstehen ist.

Phonetisch betrachtet sind Äußerungen aus Expirationsgruppen aufgebaut. Eine Expirationsgruppe ist „eine nicht durch Atmungsvorgänge unterbrochene Äußerung“ (Neppert 1999, S. 161). Auf der phonologischen Ebene entsprechen Intonationsphrasen den phonetischen Expirationsgruppen.

Nicht nur das eigentliche Atemholen, auch kurze Unterbrechungen des Redeflusses können schon als Atmungsvorgang innerhalb einer Expirationsgruppe gelten. Die innerhalb der Intonationsphrasen liegenden intermediären Phrasen werden durch solche kürzeren Unterbrechungen markiert.

Beide Ebenen der Phrasen (intermediäre Phrasen und Intonationsphrasen) entsprechen syntaktischen oder semantischen Einheiten. Sie unterstützen dadurch den Hörer bei der Dekodierung des Gesprochenen.

Intonation ist „die distinktive Verwendung prosodischer Eigenschaften zur Bedeutungsdifferenzierung ganzer Äußerungen.“ (Nöth 1990, S. 24 nach Günther 1999, S. 62)

Die Intonation erreicht die Bedeutungsdifferenzierung durch Merkmale, unter denen die Melodiebewegung, mit ihrem akustischen Korrelat Grundfrequenzverlauf, die wichtigste ist (Neppert 1999, S. 158). Die Melodiebewegung soll hier durch phonologisch abstrakte Töne beschrieben werden, deren Aufbau später erläutert wird. Zunächst muss aber der Funktion und Wirkung von Intonation Aufmerksamkeit geschenkt werden.

Die Junktur gibt zwar die grobe Gliederung der Äußerung durch die Unterteilung in Intonationsphrasen vor. Der Typ der Phrasen wird durch Junkturen jedoch nicht weiter spezifiziert. Ebenso können Junkturen zwar die Stärke der Dissoziation zwischen Phrasen, nicht aber die Art beschreiben.

Die Intonation verstärkt und spezifiziert die von der Junktur vorgegebenen Intonationsphrasen durch Intonationsmuster, die die Phrase und ihre Grenzen näher beschreiben (Neppert 1999, S. 162).

Intonationsmuster haben unterschiedliche syntaktische und semantische Funktionen. Die Frageintonation, die bei Ja/Nein-Fragen besonders ausgeprägt ist, sowie die weiterführende Zwischengrenze äußern sich durch ein Anheben der Tonhöhe vor der Grenze. Eine gleichbleibende Tonhöhe am Phrasenende hat im Diskurs eine weiterführende Funktion (Neppert 1999, S. 162).

Ein Tonabfall am Ende der Intonationsphrase resultiert in der unmarkierten Exspirationsgruppe. Diese wird häufig als Universalie angenommen, da sie automatisch durch den über den Verlauf der Äußerung sinkenden subglottalen Druck entsteht (Neppert 1999, S. 161).

In gleicher Weise wie bei der Junktur, gibt der Akzent lediglich die möglichen Hervorhebungen innerhalb eines Wortes vor. Im Folgenden wird mit Akzentuierung ein tatsächlich realisierter Akzent, also eine tatsächliche Hervorhebung bezeichnet. Die Selektion der Akzente in der Äußerung zu Akzentuierungen ist Aufgabe der Intonation.

Die Bestimmung der Akzentuierungen verläuft auf Wortebene. Dabei werden solche Wörter hervorgehoben, die den hauptsächlichen semantischen Inhalt der Äußerung repräsentieren (Neppert 1999, S. 164). Die Auswahl der zu akzentuierenden Wörter heißt auch Satzakzent (Günther 1999, S. 48). Er disambiguiert zwischen unterschiedlichen Lesarten der Äußerung und hilft bei der Gliederung des Gesagten in Fokus und Hintergrund.

Zusammengesetzte Wörter tragen mehrere, möglicherweise durch eine Akzenthierarchie geordnete Akzente, aus denen die zu realisierenden selektiert werden müssen. Die Auswahl der Akzentuierung beruht dabei auf semantischen, kontrastiven sowie rhythmischen Grundlagen.

Im Beispiel sind mögliche Akzentuierungen dargestellt, die je nach pragmatischem Ziel geäußert werden können. Beachte: Die letzten beiden Beispiele sind ungrammatisch, weil diese Silben keinen Akzent tragen, also nicht akzentuiert werden können.

Akzentuierungen werden durch die Intonation mit unterschiedlichen Intonationskonturen verknüpft. Zum Aufbau dieser Intonationskonturen und dem Zusammenspiel der Phrasenintonation und Akzentuierungsintonation gibt es zwei hauptsächliche, konkurrierende Theorien (Günther 1999, S. 63).

In holistischen Ansätzen werden den Äußerungen und Äußerungsteilen als ganzes komplexe Intonationskonturen zugewiesen. Dabei bleibt die genaue Verteilung der Konturteile auf die Silben teilweise offen (Günther 1999, S. 64). Nach der Superpositionstheorie ist die Intonation hierarchisch aufgebaut: Der Intonationsverlauf der Äußerung entsteht aus der Summe der globalen Satzintonation und lokalen Akzentuierungen.

Die Tonsequenztheorie (Pierrehumbert 1980) hingegen nimmt keine Hierarchie von Intonationskonturen, sondern eine Sequenz von Akzent-, Phrasen- und Grenztönen an. Auf der Tonsequenztheorie baut ToBI (tones and break indices, Pierrehumbert 1980), ein Modell zur Beschreibung intonatorischer Ereignisse auf. ToBI beziehungsweise ToBI-Derivate haben sich zur prosodischen Annotierung durchgesetzt.

Das für das Deutsche überwiegend verwendete Modell ist GToBI (Grice et al 1996, Reyelt et al 1996 nach Grice und Baumann 2000). Deswegen wird im Folgenden auf die Tonsequenztheorie und GToBI weiter eingegangen.

Töne bestehen aus einem oder mehreren atomaren Elementen. Diese liegen entweder auf der oberen oder unteren tonalen Lage und werden daher mit H (hoch, engl. high) beziehungsweise L (niedrig, engl. low) bezeichnet.^[8].

Akzenttöne können aus mehreren atomaren Elementen bestehen. Die einzelnen Elemente sind dann aufeinander folgenden Silben zugeordnet. Das atomare Element, das der akzentuierten Silbe zugeordnet ist, wird durch einen nachgestellten Stern (*) gekennzeichnet. Der Akzentton H*L beschreibt also eine Akzentuierung, bei der einem Gipfel auf der akzentuierten Silbe ein deutlich hörbarer Abfall folgt. Dieser dem Ton zugehörige Abfall unterscheidet H*L von H*.

Phrasenton und Grenzton bestehen nur aus je einem der Elemente H und L. Der Phrasenton markiert das Ende intermediärer Phrasen und wird mit einem Minus (-) markiert.

Die Wirkung des Phrasentons erstreckt sich bis zum Ende der intermediären Phrase. Sie beginnt auf dem Akzent, der dem letzten Akzentton in der intermediären Phrase folgt (Grice und Benzmüller 1998, nach Grice und Baumann 2000, S. 29).

Der Grenzton steht am Ende der Intonationsphrase und wird mit einem Prozentzeichen (%) markiert. Jede Intonationsphrase enthält mindestens eine intermediäre Phrase. Deswegen fällt der Grenzton immer mit einem Phrasenton zusammen und kann folglich indirekt (wenn sich Phrasenton und Grenzton unterscheiden) aus zwei Elementen bestehen.

Die genaue Realisierung des Übergangs zwischen hoher und tiefer Lage (genaue Position, Steilheit, Höhenunterschied, …) wird in der phonemischen Ebene nicht beschrieben, um eine abstrakte und nur funktional notwendige Repräsentation der Intonationskonturen zu erreichen. Die genaue Realisierung der Töne ist Gegenstand der phonetischen Ebene.

Zusätzlich zu den Tönen wird in GToBI noch ein break index angegeben. Im ursprünglichen ToBI war der break index als unabhängige Beschreibungsebene vorgesehen, um die Stärke von Grenzen im Verlauf der Äußerung zu beschreiben (Pierrehumbert 1980).

Im aktuellen GToBI ist die Zuordnung von break index zu Phrasierung hingegen eineindeutig: Intermediäre Grenzen werden mit 3, Grenzen zwischen Intonationsphrasen mit 4 gekennzeichnet.

Sowohl zum Training als auch zur Evaluierung wird also annotiertes Material benötigt, welches nur in begrenztem Umfang verfügbar ist. Eine strikte Trennung von Trainings- und Testmaterial ist jedoch für eine objektive Bewertung der Lernleistung unerlässlich. Üblich ist eine Teilung von 90 % Trainings- zu 10 % Testmaterial.

Sofern ein Lernverfahren im Zuge seiner Lerntätigkeit (zum Beispiel zur Einstellung von Parametern) eigenes Testmaterial benötigt, so darf dafür unter keinen Umständen das Testmaterial benutzt werden! Sonst würde nicht sauber zwischen Trainings- und Testmaterial unterschieden und das Ergebnis der Evaluierung zu optimistisch ausfallen. In solchen Fällen wird vom Trainingsmaterial ein kleiner Teil als Holdout-Menge abgetrennt. Das endgültige Training nach Einstellung der Parameter kann dann auf dem gesamten Trainingsmaterial inklusive der Holdout-Menge erfolgen.

Die Aufteilung des handannotierten Materials in die unterschiedlichen Teilmengen erfolgt entweder zufällig oder als geschichtete Stichprobe (auch stratifizierte Stichprobe, stratified sample), die sicherstellt, dass die Stichprobe bezüglich ausgewählter Schichtungsmerkmale der Grundgesamtheit möglichst genau entspricht (Ludwig-Mayerhofer et al o. J.). Geschichtete Stichproben erlauben bessere Vorhersagen als rein zufällige, jedoch hängt dieser Gewinn an der nichttrivialen Auswahl der Schichtungsmerkmale, die möglichst alle relevanten aber keine irrelevanten Merkmale umfasst.

Die notwendige Unterteilung in Trainings- und Testmaterial macht es zunächst unmöglich, das gesamte annotierte Material zum Training zu nutzen. Eine Abhilfe schafft k-fache Kreuzvalidierung, bei der das annotierte Material in k Teilmengen geteilt wird. Training und Test werden nun k-mal ausgeführt, wobei jeweils die k-te Teilmenge als Testmaterial und die restlichen Teilmengen gemeinsam als Trainingsmaterial benutzt werden. Als Leistung des Lernverfahrens wird dann die mittlere Leistung der einzelnen Klassifizierer angegeben. Kohavi (1995) ermittelt auf Basis einer breiten Auswahl von Daten aus unterschiedlichen Domänen 10-fach stratifizierte Kreuzvalidierung als beste uninformierte Wahl für Evaluierungen.

Für die Analyse der Lernleistung eines Klassifizierers stehen unter anderem die quantitativen Werte Korrektheit, Reinheit, Vollständigkeit sowie F-Maß zur Verfügung, die aus der Vertauschungsmatrix abgeleitet sind (Witten und Frank 2000, Kapitel 5). Leistungsmaße ersetzen nur bedingt eine manuelle Fehleranalyse, da nur diese qualitative Aussagen über die Leistung eines Klassifizierers erlaubt.

Die Vertauschungsmatrix (engl. confusion matrix) enthält detaillierte Angaben über die Verteilung der Klassifizierungsergebnisse bezogen auf die Klassifizierung im gold standard. Für ein Zwei-Klassen-Problem (mit den Klassen positiv p und negativ n) ergibt sich eine Matrix wie in Tabelle 3.1. Die einzelnen Zellen zählen Instanzen des Testmaterials, die korrekt als positiv (tp, true positive), falsch als positiv (fp, false positive), falsch als negativ (fn, false negative) und korrekt als negativ (tn, true negative) erkannt werden. Für Klassifizierungsaufgaben mit mehr als zwei Klassen ergibt sich eine größere Vertauschungsmatrix aus der zum Beispiel abgelesen werden kann, welche Klassen mit welchen anderen verwechselt und welche Klassen vergleichsweise gut erkannt werden. Die verwendeten Variablen fp, fn und tn werden für mehrklassige Aufgaben jeweils als Summen der entsprechenden Felder errechnet.

Die Korrektheit (engl. correctness, c) des Klassifizierers ist der Anteil der korrekten Vorhersagen bezogen auf die Gesamtzahl der Vorhersagen:

Insbesondere bei ungleichverteilten Klassen ist die Korrektheit wenig aussagekräftig, da sie sich nicht auf eine bestimmte Klasse, sondern auf das Gesamtergebnis bezieht: Die Korrektheit kann sehr hoch sein, obwohl für die relevante Klasse kaum korrekte Entscheidungen gefallen sind.

Reinheit (engl. precision, p) und Vollständigkeit (engl. recall, r) sind jeweils auf eine Klasse bezogene Leistungsmaße, die angeben, wie viele der als positiv erkannten Instanzen tatsächlich positiv sind beziehungsweise wie viele der positiven Instanzen tatsächlich als positiv erkannt wurden:

Das F-Maß (engl. f-measure, f; van Rijsbergen 1979) vereinigt Reinheit und Vollständigkeit in genau einem Wert, was den direkten Vergleich zweier Lernverfahren erleichtert.

Bei einem Mehrklassenproblem ergibt sich für die Klassen jeweils ein eigenes F-Maß. Die Leistung zweier Klassifizierer kann so noch nicht auf einer linearen Skala verglichen werden. Zu diesem Zweck wird das kombinierte F-Maß (fkomb) definiert: Es ist der Mittelwert der F-Maße für die relevanten Klassen.

Neben hoher Klassifizierungsgüte wird für diese Arbeit außerdem eine gute Interpretierbarkeit der trainierten Klassifizierer angestrebt. Dadurch können qualitative Aussagen über die Adäquatheit des Erlernten gemacht werden und außerdem die Relevanz der einzelnen Merkmale in Hinsicht auf die Ermittlung der Klassenzugehörigkeit bestimmt werden. Die Auswahl der in der Arbeit benutzten Klassifizierungsalgorithmen ist auch im Hinblick darauf erfolgt.

Ein Naïve-Bayes-Klassifizierer (Duda und Hart 1973; Witten und Frank 2000, Kapitel 4.2) ordnet eine Instanz mit Merkmalsvektor X derjenigen Klasse c zu, der sie mit größter Wahrscheinlichkeit angehört (Auswahl der maximalen Wahrscheinlichkeit, maximum likelihood estimation):

Diese Wahrscheinlichkeit wird mit dem Satz von Bayes ermittelt.

Die Wahrscheinlichkeiten auf der rechten Seite des Satzes von Bayes werden aus dem Trainingsmaterial ermittelt.

Insgesamt ergibt sich für den Naïve-Bayes-Klassifizierer also

wobei P(c) und die unterschiedlichen P(x_i|c) aus dem Trainingsmaterial ermittelt werden.

Ein Entscheidungsbaum (Breiman et al 1984; Witten und Frank 2000, Kapitel 4.3) klassifiziert, indem er eine hierarchische Auswahl von Merkmalstests ausführt, an deren Ende die Zuordnung einer Instanz zu einer Klasse steht. Der Baum enthält in seinen inneren Knoten jeweils einen Merkmalstest; für jedes mögliche Ergebnis verweist er auf Tochterknoten. In den Blättern des Baumes sind die zuzuordnenden Klassen vermerkt.

Die Merkmalstests unterscheiden sich für kategorielle und kontinuierliche Merkmale: Für kontinuierliche Merkmale wird einer von zwei Tochterknoten ausgewählt, abhängig davon ob das Merkmal einen im Test festgelegten Schwellenwert übersteigt.

Für kategorielle Merkmale gibt es zwei Möglichkeiten: Entweder für jede Kategorie des Merkmals wird auf einen Tochterknoten verwiesen oder aber Kategorien werden zusammengefasst und gemeinsam mehreren Tochterknoten zugeordnet.

Die Klassifizierung mit einem Entscheidungsbaum beginnt an der Wurzel des Baumes. Der Knoten reicht eine Instanz abhängig vom Ausgang des Merkmalstests an den entsprechenden Tochterknoten weiter. Dies setzt sich rekursiv fort. Wenn ein Blatt erreicht ist, zeigt es die ermittelte Klasse für die Instanz an.

Als Beispiel soll die Instanz (Pause: nein, Satzzeichen: keins, Dehnung^[11]: 1,45) mit dem Entscheidungsbaum in Abbildung 3.1 klassifiziert werden. Das zuerst geprüfte Merkmal Pause ist negativ, also ist als nächstes der linke Tochterknoten zu prüfen. Das kontinuierliche Merkmal Dehnung ist größer als 1,3, also wird von hier aus der rechte Tochterknoten gewählt. Dies ist ein Blatt und die Instanz wird als BP1 (Zwischengrenze) klassifiziert.

Beide vorgestellten Lernverfahren zur Klassifizierung haben ihre Tücken. Entscheidungsbäume werden nach dem Prinzip teile und herrsche konstruiert. Dem offensichtlichen Vorteil der rekursiven Unterteilung des Merkmalsraums bis in einzelne Klassen steht der damit einhergehende Datenmangel (engl. data sparsity) durch die wiederholte Unterteilung in lokale Trainingsmengen entgegen. Die Auswahl der richtigen Unterteilungen benötigt aber eine große Repräsentativität der lokalen Trainingsmenge für die zu erwartende (lokale) Testmenge. Die Repräsentativität schrumpft aber mit der Größe der lokalen Trainingsmenge bei zunehmender Rekursionstiefe. Die enthaltenen Strukturen werden immer stärker von individuellen Ausreißern innerhalb des Trainingsmaterials überlagert.

Gerade bei verrauschten Daten führt der Mangel an Repräsentativität dazu, dass die Auswahl des Algorithmus sich immer weniger auf tatsächlich relevante Merkmale stützt (Witten und Frank 2000, S. 288f.). Stattdessen steigt die Wahrscheinlichkeit, dass ein objektiv betrachtet weniger gutes Merkmal lokal betrachtet gegenüber dem objektiv besseren den größeren Gewinn verspricht. Sogar ein völlig zufälliges Merkmal wird bei genügend großer Rekursionstiefe irgendwann dasjenige Merkmal mit dem zufällig größten Informationsgewinn sein. Allerdings hat dies dann keinerlei Aussagekraft auf unabhängigem Testmaterial, bei dem das zufällige Merkmal einen vom lokalen Trainingsmaterial unabhängigen Wert annimmt, während ein objektiv gutes Merkmal mit dem Trainingsmaterial übereinstimmen würde. Pruning kann dieses Problem nicht lösen, da hier für die Fehlerabschätzung ebenfalls die lokale Trainingsmenge betrachtet wird und kein unabhängiges (Holdout-)Material.

Naïve-Bayes-Klassifizierer lernen in jedem Schritt auf dem gesamten Trainingsmaterial, daher leiden sie weniger stark an Datenmangel. Auch irrelevante Merkmale stören ihr Ergebnis nicht, da die benutzten Wahrscheinlichkeiten global berechnet und damit für alle Klassen gleich bewertet werden.

Anders sieht es mit redundanten, also miteinander korrelierten Merkmalen aus: Oben wurde am Rande erwähnt, dass die Errechnung der a posteriori Merkmalswahrscheinlichkeit aus den Wahrscheinlichkeiten für die einzelnen Merkmale nur für stochastisch unabhängige Merkmale gültig ist. Diese ist allerdings nur selten gegeben: Ein länger ausgesprochener Vokal wird in einer länger dauernden Silbe gesprochen. Wegen der größeren Zeit für die Einstellung der Artikulationsorgane wird er klarer gesprochen, was seine Formanten und die Schalldruckleistung beeinflusst. Entsprechendes gilt für die meisten anderen Klassifizierungsprobleme mit ihren Merkmalen.

Miteinander korrelierte Merkmale bestimmen das Klassifizierungsergebnis überproportional stark, sodass andere, nichtkorrelierte Merkmale weniger stark in die Entscheidung miteinbezogen werden (Witten und Frank 2000, S. 96f.). Eine theoretische Vorraussetzung des Naïve-Bayes-Klassifizierers ist also verletzt. Dennoch ist die Leistung des Naïve-Bayes-Klassifizierers auf echten Daten mit anderen Lernverfahren vergleichbar wie unter anderem Langley et al (1992) zeigen.

Obwohl Lernalgorithmen unwichtige Merkmale robust ignorieren sollten, verschlechtert sich C4.5 durch Hinzufügen eines zufälligen binären Merkmals um 5–10 % (John 1997), durch ein stark korreliertes Merkmal immer noch um 1–5 %. Naïve-Bayes-Klassifizierer ignorieren zwar zufällige Merkmale, werden aber durch korrelierte Merkmale negativ beeinflusst. Die richtige Auswahl der Merkmale ist deshalb besonders wichtig.

Die Umhüllungsmethode von Kohavi und John (1997; engl. wrapping) umschließt den Klassifizierer und trainiert ihn wiederholt mit unterschiedlichen Teilmengen der Merkmalsmenge. Die jeweilige Leistung wird an einer Holdout-Menge überprüft.

Bei m Merkmalen gibt es 2^m mögliche Teilmengen. Eine vollständige Suche nach der besten Merkmalsauswahl wird also schnell unmöglich. Der Suchraum wird wesentlich schneller durch eine gierige Hill-Climbing-Suche abgedeckt. Sie läuft allerdings Gefahr, nur ein lokales Maximum zu erreichen. Die n-Bestensuche (Russel und Norvig 2003) verfolgt in einem lokalen Maximum noch die n nächstbesten Möglichkeiten entlang des Pfads um von dort aus ein höheres Niveau als das derzeitige Maximum zu erreichen. Falls dies gelingt, läuft die Suche weiter und verfährt am nächsten lokalen Maximum entsprechend. Mit steigendem n erhöht sich die Chance, das globale Maximum zu erreichen.

Die Suche im Merkmalsraum kann vorwärts nach und nach Merkmale hinzufügen oder rückwärts nach und nach Merkmale entfernen. Das Training von Klassifizierern mit weniger Merkmalen ist deutlich schneller. Daher wird die Vorwärtssuche bevorzugt. Sie hat außerdem den Vorteil, dass sie im Unterschied zur Rückwärtssuche eine zu kleine und damit weniger komplexe Auswahl trifft, falls sie schon vor dem globalen Maximum terminiert.

Wenn die Leistung mit den einzelnen Merkmalsmengen an einer Holdout-Menge überprüft werden soll, stellt sich unweigerlich die Frage nach dem richtigen Leistungsmaß. Die verwendete Implementierung nutzt hierfür ausschließlich die Korrektheit. Diese ist – wie oben dargelegt – für ungleichverteilte Klassen ein schlechtes Maß. Sinnvoller wäre das F-Maß beziehungsweise bei einem Mehrklassenproblem das kombinierte F-Maß.

Als Ausweg wird die Holdout-Menge so neu geschichtet, dass die Klassen gleichverteilt sind. Die Korrektheit stimmt auf diese Weise mit dem F-Maß beziehungsweise kombinierten F-Maß überein. Die Neugewichtung innerhalb der Holdout-Menge entspricht also der Nutzung des F-Maßes (bzw. kombinierten F-Maßes) als Leistungsmaß bei der Merkmalsauswahl. Die Trainingsmenge der Klassifizierer wird nicht neu gewichtet. Dies würde den Aufbau der Klassifizierer beeinflussen und die Leistung (F-Maß) auf einer Testmenge verschlechtern, die die Klassen schließlich auch in ihrer ursprünglichen Gewichtung enthält.

Zunächst wurden zu sprechende Äußerungen nach bestimmten Kriterien zusammengestellt. Diese Äußerungen bestehen jeweils aus einem oder mehreren Sätzen, Satzfragmenten, Namen oder ähnlichem. Die Äußerungen werden durch einen Sprecher nacheinander von einer Vorlage (Papier oder Bildschirm) abgelesen und aufgezeichnet. Die Aufteilung des Korpus in einzelne Äußerungen erleichtert die Aufnahme: Bei Versprechern, Häsitationen, Übersteuern der Aufnahme oder Nebengeräuschen muss jeweils nur die Äußerung neu gesprochen werden.

Fast alle Äußerungen in den verwendeten Korpora sind unter 20 Sekunden lang, die längsten unter einer Minute. Die Aufteilung des Korpus in Äußerungen führt dazu, dass die meisten Phrasengrenzen trivial zu bestimmen sind:

Jede Äußerung schließt mit einer starken Phrasengrenze.

Diese Phrasengrenzen durch einen Klassifizierer zu ermitteln ist unnötig. Wichtige Merkmale für die Erkennung von Phrasengrenzen ergeben sich aus einem Vergleich der Wörter oder des Signals vor und nach der möglichen Phrasengrenze. Für die abschließenden Phrasengrenzen fehlt der rechte Kontext, weshalb viele Merkmale nicht berechnet werden können. Deshalb sind sie auch als Trainingsmaterial für die Klassifizierung der übrigen Wortgrenzen ungeeignet.

Im Anschluss an die Aufnahme eines Korpus wird dieses segmentiert. Die Grundlage für die Segment-Annotierung für alle benutzten Korpora bildet SAMPA (Wells o. J.). SAMPA ist ein phonetisches Alphabet bei dessen Entwicklung die Computerlesbarkeit und die Kompatibilität mit dem internationalen phonetischen Alphabet (IPA 1999) im Vordergrund stand.

SAMPA wurde für mehrere Sprachen spezifisch angepasst, fürs Deutsche durch Kohler (1992a), sodass ein phonologisches Alphabet entsteht, das nur durch wenige phonetische Merkmale ergänzt wird.^[15]

Die in den Korpora verwendeten SAMPA-Dialekte machen unterschiedliche Erweiterungen gegenüber Kohler (1992a). Insbesondere werden zusätzliche Symbole zur besseren Beschreibung von fremdsprachlichem Material eingeführt. Diese Erweiterungen sind miteinander kompatibel, weshalb hier die Obermenge aller verwendeten Zeichen angegeben wird.

Da die verwendeten Korpora SAMPA benutzen, werden Phoneme auch in der vorliegenden Arbeit durch SAMPA-Symbole und nicht die entsprechenden IPA-Symbole dargestellt.

In zwei der vier verwendeten Korpora ist die Prosodie GToBI-annotiert, das auf der Ton-Sequenz-Theorie aufbaut. Das Kiel-Korpus ist mit PROLAB (Kohler 1992b, Peters und Kohler 2004) annotiert, das auf dem Kieler Intonationsmodell (KIM; Kohler 1991 nach Kohler 1995 ) aufbaut.

Die beiden Schemata annotierten jeweils Akzentuierungen und Phrasengrenzen, jedoch nach unterschiedlichen Systemen. Gemein ist beiden Systemen, dass sie primär auf dem auditorischen Eindruck der Akzentuierung beziehungsweise Phrasierung beruhen.

Die systematische Einordnung der Akzentuierungen unterscheidet sich dahingehend, dass die Akzenttöne der Ton-Sequenz-Theorie aus atomaren Elementen aufgebaut sind, deren Kombination den Intonationsverlauf beschreibt. In PROLAB hingegen wird die zeitliche Ausrichtung und Stärke der Akzentuierung unterschieden und außerdem der Intonationsverlauf zwischen den Akzentuierungen angegeben.

Aufgrund der theoretischen Unterschiede zwischen GToBI und PROLAB können beide nicht eins-zu-eins aufeinander abgebildet werden (Kohler 1995^[16]).

In der Arbeit soll von den verschiedenen Akzenttypen abstrahiert werden. Es soll nur unterschieden werden, ob eine Silbe akzentuiert ist oder nicht. Die Frage der „richtigen“ Theorie stellt sich dadurch nicht. Deshalb wird aus der Akzentuierungsannotierung nur die Information genutzt, ob eine Silbe akzentuiert ist, nicht jedoch die Information wie.

Hinsichtlich der Phrasierungen unterscheidet GToBI zwei unterschiedlich starke Phrasengrenzen. Diese werden durch die Ton-Sequenz-Theorie motiviert. PROLAB unterscheidet nur eine Sorte von Phrasengrenzen. Das Phrasierungslabel (derzeit PGn) legt jedoch nahe, dass eine nachträgliche Unterscheidung verschieden starker Phrasengrenzen (PG1, PG2, ...) vorgesehen war.

Nicht alle Phrasengrenzen sind gleich, eine Abstufung ist sinnvoll. Deshalb wird in dieser Arbeit die volle Phrasierungsinformation genutzt und Zwischengrenzen von Vollgrenzen unterschieden.

Das Textmaterial von PHONDAT 90 besteht aus mehreren Satzlisten mit dem Ziel, alle Phoneme und Phonem-Übergänge des Deutschen zu erfassen. Die Berlin- und Marburg-Sätze die zuerst Sotscheck (1976a, 1976b, nach Kohler 1992a) veröffentlicht hat, sind kurze Sätze mit Alltagsvokabular, die durch die weiteren Satzlisten (Kohler, Schiefer/Sommer, Tillmann/Kohler) vervollständigt werden. Hinzu kommen zwei Listen der beteiligten Industrie (CNET, SEL1 und SEL2). Die Auswahl der Sätze diskutiert Kohler (1992a) ausführlich. Außerdem sind zwei Kurzgeschichten aufgenommen: Die Buttergeschichte mit phonetisch ausgeglichenem Material und Nordwind und Sonne^[17] (Thon und van Dommelen 1992, S. 47).^[18]

Für PHONDAT 92 wurden Texte der Domäne Bahnauskunft ausgewählt. Die 100 Siemens-Sätze sind konstruierte, vollständige Sätze; die teils unvollständigen 100 Erlangen-Sätze sind aus mitgeschnittenen und verschrifteten Dialogen entnommen (Thon 1992, S. 115).^[19]

Das Kiel-Korpus enthält Aufnahmen von 51 norddeutschen Sprechern, die jeweils nur kürzere Abschnitte des Textmaterials sprechen. Eine Frau und ein Mann^[20] sprechen das gesamte Textmaterial von 603 Sätzen. Insgesamt ergeben sich 3876 Äußerungen. Die genaue Aufteilung ergibt sich aus Tabelle 4.1.

Für die 603 unterschiedlichen Sätze wurde zunächst maschinell eine kanonische Transkription erzeugt und von Hand korrigiert. Eine kanonische Transkription gibt die normale Aussprache für eine Äußerung an, wie sie durch einen beliebigen Sprecher des Satzes zu erwarten ist. Mithilfe dieser Transkriptionsvorgabe wurden dann die einzelnen Äußerungen im Korpus manuell segmentiert und die Phonem-Etiketten vergeben (van Dommelen 1992).

Die tatsächliche Aussprache weicht von der kanonischen Transkription durch Einfügung, Tilgung und Ersetzung von Lauten ab. Diese Unterschiede werden für Konsonanten genau notiert: /n-m/ bedeutet /n/ wurde als /m/ realisiert, wie zum Beispiel in „geben“ /g e b @- n-m/. Für Vokale wird bei Tilgung (vgl. /@-/ im Beispiel) und Einfügung ebenso verfahren. Eine Ersetzung wird hingegen nur dann gekennzeichnet, wenn sich dadurch die phonemische Kategorie verändert. Die Reduktion eines gespannten Vokals zum entsprechenden ungespannten Vokal oder Schwa hingegen wird nicht notiert (van Dommelen 1992, S. 203f.). Vokale mit folgendem vokalisierten /r/ werden als Diphthonge (/a6/, /o6/ und so weiter) notiert.

Das Annotierungsformat des Kiel-Korpus ist kryptisch. Alle Transkriptionsebenen zu einer Äußerung werden in derselben Datei gespeichert. Die Transkription der unterschiedlichen Ebenen ist ineinander verwoben und die einzelnen Markierungen sind aus mehreren Elementen zusammengesetzt. Brinckmann (2004, Kapitel 2.2) beschreibt es in allen seinen Einzelheiten.

Das Kiel-Korpus ist nach dem PROLAB-System (siehe oben) prosodieannotiert. Für Akzentuierungen unterscheidet PROLAB vier unterschiedliche Stärken: keine Akzentuierung (0), „Deakzentuierung“ (1) also sehr schwache Akzentuierung, normale Akzentuierung (2) und Emphase (3; Kohler 1992b, S. 243). Sowohl Deakzentuierung als auch Emphase sind im Kiel-Korpus selten (6–7 %; Abbildung 2.3 in Brinckmann 2004, S. 32).

Nach informeller Prüfung wurden nur die Stärken 3 und 4 als akzentuiert gewertet, deakzentuierte Silben hingegen wie unakzentuierte Silben behandelt.

PROLAB unterscheidet nur eine Stärke der Phrasierung. Meines Erachtens nach wurden nur Vollgrenzen, nicht aber Zwischengrenzen annotiert. Möglicherweise liegt dies daran, dass das Kieler Intonationsmodell neben Phrasierungen und Akzentuierungen noch weitere Intonationskonturen annimmt, die die Funktion von Zwischengrenzen übernehmen können.

Die Untersuchungen zur Phrasierung im Kiel-Korpus beschränken sich deswegen auf Vollgrenzen. Das Kiel-Korpus enthält nur sehr wenige Vollgrenzen. Dies liegt auch an der generellen Kürze der Äußerungen im Kiel-Korpus.

Das Korpus besteht aus drei unterschiedlich aufgebauten Teilkorpora:

Dem Frage/Antwort-Korpus liegen zehn (konstruierte) Antworten zugrunde. Die Antworten liegen jeweils in Varianten vor, die sich in einem Verb unterscheiden, sodass sich eine unterschiedliche syntaktische Struktur und damit auch unterschiedliche Informationsstruktur ergibt:

Außerdem werden die Antworten weiter systematisch variiert, unter anderem durch die Einfügung von Fokuspartikeln. Für alle Antworten werden dann unterschiedliche Fragen gestellt, die unterschiedliche Foki in der Antwort hervorrufen. Teilweise ist der Fokus weit, teilweise eng auf eine der Informationen im Satz gerichtet.

Der Sprecher sollte die Antworten jeweils so sprechen, wie es für ihn als Antwort auf die vorgelegten Fragen natürlich war. Diese feine Kontrolle über die Informationsstruktur der Antworten erlaubt systematische Analysen der Auswirkungen auf die prosodische Realisierung.

Das Korpus lag in MaryXML (Schröder und Breuer 2004) vor. Ob Leerzeichen vor oder nach Satzzeichen stehen sollen, gibt diese Repräsentation nicht an. Insbesondere ist diese Angabe aber bei Anführungszeichen sowie Bindestrichen/Gedankenstrichen wichtig. („Peter – nicht Paul – liebt ‚Lach- und Sachgeschichten‘.“). Die Zuordnung der Anführungszeichen zum rechten oder linken Wort sowie die Unterscheidung zwischen Binde- und Gedankenstrichen wurde deswegen von Hand vorgenommen.

Das Korpus umfasst knapp 14.000 Silben. Ein Wiener Sprecher ohne besondere Vorkenntnisse spricht das Korpus in der österreichischen Varietät des Standarddeutschen. Das Sprachmaterial wurde von Hand segmentiert und silbifiziert und hält sich bei der Phonem-Etikettierung eng an die kanonische Aussprache.

Häufig weicht die Aussprache durch Reduktion einiger Segmente am Wortende von der kanonischen Aussprache ab. Diese Segmente sind dennoch im Korpus annotiert, jedoch mit der einheitlichen (und unrealistischen) Dauer von einer Millisekunde.

Außerdem wird noch /N:/ und /S:/ für besonders gedehnte /N/ und /S/ benutzt. Diese Unterscheidung ist bei der weiteren Verarbeitung unnötig und wird deshalb fallengelassen: Die Dehnung ergibt sich schon aus der Dauer der Segmente.

Die Akzentuierungsannotierung wurde nach dem GToBI-System durchgeführt. Die Phrasierung hingegen entspricht nicht Standard-GToBI: Der break index für Phrasengrenzen unterscheidet drei Klassen (1, 3 und 4). Für die Klassen 1 und 4 ist jeweils der GToBI-Grenzton angegeben, für Klasse 3 fehlt diese Angabe.

Sowohl ToBI-Grenztöne (%) als auch -Phrasentöne (-) sind den break indices 3 und 4 zugeordnet. In Standard-GToBI sind Grenztöne fest mit dem break index 4 und Phrasentöne fest mit dem break index 3 verbunden.

Eine informelle Überprüfung ergab, dass Grenzen der Klasse 1 eher schwache Grenzen bezeichnen und die Klassen 3 und 4 eher starke Grenzen. Zwischen Grenzen der Klassen 3 und 4 bestand kein genereller Unterschied in der Grenzstärke. Sie unterschieden sich nur in der Angabe des Grenztones. Ein enger Zusammenhang von Phrasen- beziehungsweise Grenzton mit der Grenzstärke war nicht ersichtlich. Deswegen wird in der Weiterverarbeitung zwischen zwei unterschiedlich starken Grenzen unterschieden: Grenzen der Klasse 1 als Zwischengrenzen und Grenzen der Klassen 3 und 4 als Vollgrenzen.

Das Korpus besteht aus zwei Teilen, einem domänenunspezifischen aus 1636 Äußerungen phonetisch ausgeglichenem Material und einem domänenspezifischen mit 953 Äußerungen. Das domänenspezifische Teilkorpus führt zu einer gegenüber herkömmlicher Synthese höheren Qualität innerhalb der durch das Korpus zur Verfügung gestellten Bausteine. Gleichzeitig ermöglicht das domänenunspezifischen Teilkorpus die Synthese von beliebigen anderen Äußerungen.

Das phonetisch ausgeglichene Material wurde aus einem großen Textkorpus so ausgewählt, dass die zu erwartende Segment- und Segmentübergangsabdeckung bei einer vorgegebenen Korpusgröße maximiert wurde. Anschließend wurden einige sehr konstruierte Sätze^[22] hinzugefügt um die Diphon-Abdeckung zu vervollständigen.

Der domänenspezifische Teil umfasst überwiegend Film- und Schauspielernamen mit einem großen Anteil englischsprachiger Wörter sowie wichtige Sätze für ein Dialog-System zur Kino-Auskunft. Einige Äußerungen wiederholen sich, wohl um bei der Sprachsynthese innerhalb der Domäne zwischen unterschiedlichen Realisierungen derselben Äußerung auswählen zu können und so die Lebendigkeit und Qualität des Systems zu verbessern.

Die englischsprachigen Wörter sind für die Domäne Kino-Auskunft unerlässlich. Hier soll die deutsche Prosodie im Allgemeinen untersucht werden, nicht speziell die Prosodie in der Domäne Kino-Auskunft. Die überproportional vielen englischen Äußerungen stören dabei.

Ein- oder Zweiwort-Äußerungen (meist Titel von Filmen oder Namen) enthalten keine Phrasengrenzen. Außerdem ist für sie die Akzentuierungsvorhersage insofern einfacher, als jedes Wort akzentuiert wird und lediglich die Position des Wortakzents bestimmt werden muss.

Wiederholungen von Äußerungen bergen die Gefahr, dass gleiche Äußerungen sowohl im Trainings- wie im Testmaterial auftauchen und somit die Ergebnisse des Lernverfahrens verfälschen. Wenn Äußerungen mehrfach im Trainingsmaterial auftauchen, dann verschieben sie das Gewicht des Trainings zugunsten dieser Äußerungen, was die Generalität der gelernten Klassifizierer einschränkt.

Aus dem domänenspezifischen Teil werden deshalb nur die Äußerungen benutzt, die (1) ganze Sätze oder Satzteile umfassen, (2) nicht überwiegend englischsprachig sind und (3) keine Wiederholung einer anderen Äußerung sind.

Das Korpus selbst enthält nicht das ursprünglich verwendete orthographische Material sondern nur die normalisierten Wörter ohne Satzzeichen. Um auch textbasierte Merkmale nutzen zu können, ist das ursprüngliche Textmaterial aber wichtig: Zum Beispiel korrelieren Phrasengrenzen häufig mit Satzzeichen. Für die erfolgreiche Suche nach der originalen Satzliste des phonetisch ausgeglichenen Materials bin ich Frau Antje Schweitzer vom IMS zu Dank verpflichtet. Für den domänenspezifischen Teil habe ich selbst nach bestem Wissen dem normalisierten Material Satzzeichen hinzugefügt.

Die Aufnahmen eines Sprechers aus dem Raum Stuttgart sind durch Forced Alignment automatisch segmentiert, mit SAMPA-Etiketten versehen und anschließend von Hand korrigiert worden. Beim Forced Alignment wird ein automatischer Spracherkenner benutzt, dem die zu erkennende Wort- oder Segmentfolge vorgegeben ist. Der Erkenner liefert dann die für ihn optimalen Grenzen zwischen den vorgegebenen Segmenten.

Die prosodische Annotierung wurde nach dem GToBI-System durchgeführt. Die Akzentuierungs- und Phrasierungsinformation wurde wie oben beschrieben übernommen.

Die Annotierung von Phrasengrenzen im Schrifttext (Zwischengrenzen (BP1) und Vollgrenzen (BP2)) lag bereits aus einer Untersuchung zur automatischen Phrasierung in TTS-Systemen vor (Qin und Fischer 2004) und wurden entsprechend genutzt.

Im Vorfeld der Arbeit wurden, ebenfalls im Schrifttext, akzentuierte Wörter markiert^[23]. Vorgabe bei dieser Annotierung war es, dass in jeder Intonationsphrase wenigstens eine Akzentuierung liegen muss.

Für die mit der Arbeit verfolgten Ziele war die Annotierung von Akzentuierungen auf Wortebene nicht ausreichend. Vielmehr wird eine Annotierung auf Silbenebene benötigt, um so Eigenschaften von akzentuierten und nicht akzentuierten Silben voneinander abgrenzen zu können. Zu diesem Zweck wurde das Korpus silbifiziert und eine Zuordnung von Schrifttext zu Sprechtext hergestellt (siehe die beiden folgenden Abschnitte).

Für die Akzentuierungszuweisung auf Silbenebene wurde mithilfe der Textanalyse eines TTS-Systems für den Schrifttext eine Silbifizierung und die Zuweisung des Wortakzents an die Silben automatisch erzeugt. Für jedes manuell als akzentuiert markierte Wort wurden dann diejenigen Silben als akzentuiert markiert, denen vom TTS-System ein Wortakzent oder Wortnebenakzent zugewiesen wurde.

Probleme ergeben sich, wenn (1) die aus dem Text ermittelte Silbenzahl^[24] und die aus der akustischen Realisierung ermittelte Silbenzahl nicht übereinstimmen oder (2) das TTS-System keiner Silbe^[25] oder einer falschen Silbe^[26] den Wortakzent zuweist.

Die Akzentuierungen wurden deswegen einzeln von Hand korrigiert. Dabei wurden auch offensichtliche Fehler der Phrasierungsannotierung behoben. In einigen Fällen fielen einige grobe Fehler im automatischen Segment-Alignment auf und die betroffenen Äußerungen wurden entweder korrigiert oder aus dem Korpus entfernt.

Ein bisher nicht erwähntes sehr wichtiges Merkmal ist der Silbenkern. Das kategorielle Merkmal Silbenkern erhält für jeden Vokal und für jede Vokalkombination in Diphthongen eine Kategorie.

Warum ist der Silbenkern wichtig? Silben mit reduziertem Vokal als Silbenkern (/@/ oder /6/) können nicht akzentuiert werden. Falls solche Silben akzentuiert gesprochen werden, so wird statt des reduzierten der entsprechende vollwertige Vokal (/E/ beziehungsweise /a/ oder /e6/) gesprochen (Gibbon 1998, S. 80).

In den Korpora führt das automatische Alignment beziehungsweise die Segmentierung mithilfe einer kanonischen Transkription dazu, dass tatsächlich einige akzentuierte Silben mit reduziertem Silbenkern vorkommen. Dies liegt daran, dass die Hyperkorrektur (Gibbon 1998, S. 80) dieser reduzierten Vokale in vollwertige Vokale nicht korrekt annotiert ist.

Auch darüber hinaus ist die Verteilung von akzentuierten und unakzentuierten Silben abhängig vom Silbenkern. In den Korpora sind Silben mit langen Vokalen deutlich überproportional häufig akzentuiert. Greenberg zeigt ähnliche Ergebnisse für das Englische (Greenberg 2005, S. 124).

Der Silbenkern bildet außerdem die Basis für die im Folgenden vorgestellten akustischen Merkmale. Verschiedenartige Silbenkerne haben unterschiedliche inhärente Tonhöhen, Intensitäten und Dauern (vgl. Abschnitt 2.4). So ist ein Diphthong im Schnitt deutlich länger als ein einfacher Silbenkern. Das Merkmal Silbenkern ist deswegen für die Klassifizierer sinnvoll, weil es die Aufspaltung des Trainingsmaterials in homogene Teilmengen unterstützt.

Viele der folgenden Merkmale werden nicht nur roh angegeben. Zusätzlich erfolgt eine Normierung des Werts relativ zum Mittelwert des Merkmals über alle Vorkommen des jeweiligen Silbenkerns.

Die automatische Merkmalsauswahl bestimmt dann, welche Kombination aus rohem Merkmal, normiertem Merkmal und Silbenkernmerkmal die besten Ergebnisse liefert.

Akzentuierungen zeigen sich durch Längung. Sie schlagen sich also in der Dauer der realisierten Segmente und Silben nieder. Tamburini (2003) zeigt, dass die Längung der Silbe sich in gleicher Weise auch im Silbenkern zeigt.

Der Silbenkern hat gleichzeitig den Vorteil, dass das Ergebnis nicht durch etwaige Silbifizierungsfehler verschlechtert wird und die Dauer eigentlich extrasilbischer Konsonanten nicht von der Silbendauer abgezogen werden muss.

Grundfrequenz und Schalldruckleistung der Audiosignale werden mit dem Snack-Toolkit^[31] alle 10 ms ermittelt. Für jede Silbe wird dann der Median aller innerhalb des Silbenkerns liegenden Messwerte ermittelt. Durch zusätzliche Normierung der Merkmale wird die Mikroprosodie berücksichtigt.

Die Längung akzentuierter Silben führt dazu, dass mehr Zeit für die Einstellung der Artikulationsorgane zur Verfügung steht. Der größere Artikulationseinsatz in akzentuierten Silben führt ebenfalls zu einer höheren Genauigkeit bei der Einstellung der Artikulationsorgane.

Die genauere Artikulation akzentuierter Silben schlägt sich in der Vokalqualität nieder. Die Formanten von akzentuierten Vokalen sind stärker ausgeprägt und liegen näher an den kanonischen Formanten für einzeln realisierte Laute, wie sie zum Beispiel Neppert (1999, S. 147) zitiert. Nichtakzentuierte Vokale werden hingegen stärker zentralisiert, das heißt ihr Formantenspektrum wird in Richtung Schwa-Laut verschoben (Neppert 1999, S. 150).

Als Merkmale werden die Formanten F1, F2, F3 und F4 jeweils in der Mitte der Silbenkerne berechnet (ebenfalls mithilfe des Snack-Toolkits). Anstatt einer Mittelwert- oder Medianbildung über den gesamten Silbenkern wird hier die zeitliche Mitte des Silbenkerns benutzt, da sich hier die stationäre Phase des Vokals befindet. Hier sind die Formanten am wenigsten durch Koartikulationseffekte beeinflusst und kommen der kanonischen Form am nächsten.^[32]

Natürlich hängen die Formanten vom Typ des Silbenkerns ab. Deswegen werden die Formant-Merkmale zusätzlich normiert. Die Merkmale normierter F1, normierter F2, normierter F3 und normierter F4 geben die Formanten relativ zu den durchschnittlichen Formanten für den jeweiligen Silbenkern wieder.

Akzentuierungen äußern sich vor allem durch die intonatorischen Akzenttöne im Tonhöhenverlauf. Mit den oben erwähnten einfachen Grundfrequenzmerkmalen ist der Tonhöhenverlauf nur unzureichend beschrieben. Die Grundfrequenz im Silbenkern ist außerdem nicht unbedingt relevant, da die Akzenttöne auch schon vor und nach der akzentuierten Silbe realisiert werden können.

Zur Beschreibung des Tonhöhenverlaufs werden von verschiedenen Autoren unterschiedliche Merkmale benutzt. Batliner et at (2001) nutzen unter anderem den Frequenzumfang innerhalb der fraglichen Silbe, sowie darauf basierende Merkmale. Tamburini (2003) benutzt eine Parametrisierung des Grundfrequenzverlaufs mit dem TILT-Modell (Taylor 1998).

PaIntE ist ursprünglich dafür vorgesehen, den Tonhöhenverlauf im Bereich akzentuierter Silben zu beschreiben. In dieser Arbeit wird es jedoch dafür verwendet, den Akzentuierungsstatus aller Silben zu ermitteln. Dies führt zu dem Problem, dass jede Akzentuierung mehrfach und in unterschiedlichen Silbenfenstern erkannt und parametrisiert wird: Ein einfacher Akzentton H* wird deswegen zunächst als steigender Akzent mit spätem Gipfel (L*H), im folgenden Silbenfenster als Akzent mit mittlerem Gipfel (H*) und im nächsten Fenster möglicherweise noch als fallender Akzent mit frühem Gipfel (HL*^[34]) beschrieben.

Für jede zu klassifizierende Silbe stehen deswegen die PaIntE-Merkmale der vorangehenden Silbe, der aktuellen Silbe und der folgenden Silbe zur Verfügung. Für tatsächlich akzentuierte Silben sollten sich die Merkmalsbündel der vorangehenden und aktuellen oder der aktuellen und folgenden Silbe nur in ihrem b-Wert um 1 unterscheiden, da sie sich auf denselben Gipfel beziehen.

Die Implementierung von PaIntE beruht auf Festival^[35] (Taylor et al 1998). Als Eingabedaten für Festival werden Silbengrenzen benötigt, weshalb sie wie in Kapitel 4 beschrieben erzeugt wurden. Festival unterstützt zudem nur vokalische Silbenkerne, was die Silbifizierung wie in Kapitel 4 beschrieben einschränkt und die Ergebnisse für das Kiel-Korpus beeinträchtigt.

In Kapitel 2 wurde festgestellt, dass nur akzenttragende Silben akzentuiert sein können. Der Akzent ist deshalb ein sehr wichtiges Merkmal für die Vorhersage von Akzentuierungen.

Auf ein umfangreiches Akzentmodell, das für Wörter die akzenttragenden Silben bestimmt, wurde dennoch verzichtet. Bei der Vorbereitung der Annotierung des IBM-Korpus wurde das Akzentmodell eines TTS-Systems benutzt. Bei der anschließenden Handkorrektur ergaben sich Probleme durch die unterschiedliche Silbifizierung. Dem TTS-System steht nur die Textform zur Verfügung, weshalb teilweise die falsche Silbenzahl ermittelt wurde.

Die Benutzung eines Akzentmodells hätte es zudem unmöglich gemacht, ein automatisch prosodieannotiertes Korpus zur Kontrolle oder Verbesserung der Akzentmodelierung zu nutzen. Der Verzicht erlaubt es, die Vorhersagen eines Akzentmodells zu prüfen, ohne dass sich eine zyklische Abhängigkeit und damit zu optimistische Schlüsse ergeben.

Dennoch wurden einige einfache Merkmale für die Akzentuierungsvorhersage benutzt:

Die Verteilung der Akzentuierungen über die Wortarten ist sehr ungleichmäßig. Funktionswörter sind praktisch nie akzentuiert^[36]. Auch die Inhaltswörter sind unterschiedlich häufig akzentuiert.

Darüber hinaus hilft die Wortart dabei, die unzureichende Bestimmung des Wortakzents zu verbessern. Während beispielsweise Verben im Infinitiv meist einen initialen Wortakzent tragen („GEHen“, „LAUfen“, ...), liegt er bei Partizipien fast immer auf der zweiten Silbe („geGANgen“, „geLAUfen“, ...).

Die Wortarten wurden durch das Programm TreeTagger^[37] (Schmid 1995) bestimmt, welches Entscheidungsbäume zur Bestimmung der Wortarten benutzt. Die Wortarten werden aus dem STTS-Tagset (Schiller et al 1995) vergeben. Das Merkmal Wortart ist also kategorial.

Das STTS-Tagset teilt die Wörter in 54, sehr fein untergliederte Wortarten ein. Um den Klassifizierern die Untergliederung zu erleichtern, wurden die Wortarten Brinckmann (2004) folgend zusätzlich im Merkmal vereinfachte Wortart in zwölf Kategorien zusammengefasst: Satzzeichen, Nomen, Verb, Adjektiv, Adverb, Präposition, Pronomen, Artikel, Konjunktion, Partikel, Zahlwort und sonstige.

Die Worthäufigkeit ist ein Indikator für den Informationsgehalt eines Wortes. Sehr häufige Wörter tragen wenig zum Inhalt einer Aussage bei. Es gibt also eigentlich keinen Grund, solche Wörter zu akzentuieren. Funktionswörter gehören zu den häufigsten Wörtern und sind fast immer unakzentuiert.

Die Häufigkeit der einzelnen Wörter wurde einer Liste aus der Arbeit von Vera Demberg (2006) entnommen. Die Häufigkeitsliste basiert auf dem taz-Korpus.

Die Verwendung einer einfachen Häufigkeitsliste führt dazu, dass kein Kontext berücksichtigt werden kann. Zum Beispiel sind in der Domäne Fahrplanauskunft insgesamt seltene Wörter sehr häufig, was ihren Informationsgehalt innerhalb der Äußerung beeinflusst. Eine umfassende Informationsgehaltsvorhersage für jedes Wort kann in dieser Arbeit natürlich nicht geleistet werden.

Die Realisierung der Akzentuierung sollte stark von der Position innerhalb der Phrase abhängen. Die Deklination führt dazu, dass sowohl die Grundlinie als auch die Dachlinie innerhalb der Phrase abfallen. Dies wirkt sich auf das Grundfrequenz-Merkmal als auch auf die PaIntE-Tonhöhenmerkmale aus.

Zum Phrasenende nimmt häufig auch die Intensität ab, sodass eine weniger starke Hervorhebung in Schalldruckleistung und Qualitätsmerkmalen zur Wahrnehmung einer Akzentuierung ausreicht. Gleichzeitig zeigt die Dehnung am Phrasenende keine Akzentuierung an, obwohl die Dauermerkmale dafür sprechen. Dehnung und Längung sind akustisch schwer zu unterscheiden.

Die Intensität der Äußerung ist am Phrasenanfang häufig stark, ohne dass eine Akzentuierung wahrgenommen wird. Teilweise ist hier auch der Tonhöhenverlauf sehr prägnant. Dieses Phänomen wird, je nach theoretischer Grundlage, als phraseninitiale Kontur (Kohler 1992b) oder als phraseninitialer Grenzton (Grice und Baumann 2000) bezeichnet. Erstere Bezeichnung erscheint mir einleuchtender, da meiner Erfahrung nach eben kein verortbarer Ton wahrgenommen wird, sondern das Phönomen über einen nicht klar begrenzten Bereich wirkt.

Phraseninitiale Phänomene werden in dieser Arbeit allerdings nicht weiter beachtet, da sie nur teilweise in den Korpora annotiert sind.

Die Nutzung von Phrasenmerkmalen bei der Akzentuierungsklassifizierung setzt voraus, dass diese Phrasenmerkmale zur Verfügung stehen. Dies ist in einem unannotierten Korpus zunächst nicht der Fall. Die Reihenfolge der Annotierungsschritte ist dann darauf festgelegt, dass zuerst die Phrasierung und nachfolgend die Akzentuierung annotiert würden. Eine Mischung der beiden Schritte (wie zunächst in der Arbeit beabsichtigt) wäre dadurch unmöglich.

In dieser Arbeit werden deshalb zwar Phrasenmerkmale ermittelt, im Anwendungsfall jedoch als mögliche Merkmale außeracht gelassen. Sie werden nur benutzt, um den Wert der Phrasierungsinformation für die Akzentuierungsannotierung zu bewerten. Neben den eigentlichen Phrasengrenzen stellen auch Satzzeichen sinnvolle Information zur Verfügung, die hier ebenfalls unter Phrasenmerkmale subsummiert sind. Satzzeichen haben den Vorteil, dass sie schon ohne eine Phrasierungsannotierung bekannt sind und unabhängig von ihr benutzt werden können.

Folgende Phrasenmerkmale werden ermittelt:

Ein Hauptmerkmal der Phrasierung liegt in der Einfügung kurzer Pausen in den Sprechstrom an externen offenen Junkturen. Das Pausenmerkmal beschreibt, ob im Korpus zwischen zwei Wörtern eine Sprechpause vorliegt oder nicht.

Zwischen den Korpora bestehen beträchtliche Unterschiede in der Pausenannotierung. Gerade bei den automatisch segmentierten Korpora hängt die Pausenhäufigkeit von der Neigung der Spracherkenner ab, am Übergang zwischen Wörtern eher gedehnte Laute zuzulassen oder Pausen einzufügen.

Gerade vor Plosiven sind in den automatisch segmentierten Korpora sehr selten Pausen annotiert auch wenn die Stille vor der Explosionsphase des Plosivs relativ lang ist. Das kategoriale Merkmal Pause erhält deswegen die drei Kategorien ja, nein und Plosiv.

Neben dem kategorialen Merkmal wird noch das kontinuierliche Merkmal Pausendauer genutzt, dass bei Pausen und Plosiven jeweils die Länge der Pause beziehungsweise des Plosivs angibt. Leider ist nicht in allen Korpora die stumme Phase und die Explosionsphase des Plosivs einzeln annotiert. Deswegen wird jeweils die Gesamtdauer der Plosive angegeben.

Neben der Pause ist die Dehnung das zweite hauptsächliche Merkmal der Phrasierung (Kohler 1983, nach Reyelt 1995).

Dehnungen vor Phrasengrenzen zeigen sich vor allem zum Ende des letzten Wortes vor der Phrasengrenze. Dafür werden die Dauern der einzelnen Segmente der letzten Silbe gemessen. Aus der Dauer der Segmente relativ zur durchschnittlichen Dauer dieser Segmente bestimmt sich, ob die Laute langsamer oder schneller als durchschnittlich gesprochen worden sind. Das Merkmal finale Dehnung setzt sich nun aus dem arithmetischen Mittel der relativen Dauer für die einzelnen Laute der letzten Silbe zusammen.

Das beschriebene Merkmal berücksichtigt noch keine Schwankungen in der Sprechgeschwindigkeit: Für einen insgesamt langsam gesprochenen Satz ist jede Silbe langsamer gesprochen als in einem schneller gesprochenen. Entsprechend würde das Merkmal jeweils auf eine Phrasengrenze hindeuten.

Das Merkmal relative finale Dehnung beschreibt die Dehnung im Vergleich zur relativen Dehnung der ersten Silbe nach der potentiellen Phrasengrenze. Es ist also nur dann ausgeprägt, wenn die nachfolgende Silbe wieder schneller gesprochen wird als die vorangehende und nähert sich somit an das perzeptiv lokale Sprechtempo (Pfitzinger 1999 nach, Pfitzinger und Reichel 2006) an.

Durch den mikroprosodischen Effekt der Deklination nimmt die Intensität über den Phrasenverlauf ab. Insbesondere direkt vor einer Phrasierung wird die Stimme schwächer. Eine neue Phrase zeigt sich häufig durch einen neuen Stimmeinsatz. Dieser Stimmeinsatz bewirkt einen Intensitätssprung zwischen der Silbe, die der Grenze vorangeht, und der ihr folgenden.

Die Intensität wird im folgenden durch die Schalldruckleistung repräsentiert. Folgende Merkmale werden extrahiert:

Der Tonhöhenverlauf im Bereich von Phrasierungen wird phonologisch durch Grenztöne bestimmt. Nach einer Phrasengrenze setzt die Stimme neu ein. Dieser Neueinsatz erzeugt zusammen mit der über die Phrase verlaufenden Deklination einen Sprung im Tonhöhenverlauf am Phrasenende vor der Phrasengrenze und am Phrasenanfang nach der Grenze.

Es können also die zwei Phänomene Grenzton und Deklinationssprung gemessen werden.

Die Grenztöne^[38] sind vor allem an schwachen Phrasengrenzen (Zwischengrenzen) wichtig, da diese nach meiner Erfahrung teilweise ausschließlich durch einen hohen Grenzton ohne Rücksetzung der Tonhöhe und ohne Pause oder deutliche Dehnung angezeigt wird^[39].

Als Merkmale für die Grenztöne wurden deswegen die oben bereits erläuterten PaIntE-Parameter der vorletzten und letzten Silbe vor der potentiellen Phrasengrenze sowie der unmittelbar folgenden Silbe benutzt.

Eine nur signalbasierte Phrasierungserkennung ist – wie oben beschrieben – ungenügend. Deswegen wurden auch zur Phrasierungsannotierung viele der oben bereits beschriebenen textbasierten Merkmale benutzt. Besonders wichtig ist hierbei die Interpunktion.

Syntaktische Einschnitte bilden ein wichtiges Merkmal für die Phrasierung. Die vorangehende und folgende Wortart liefert indirekt bereits Informationen über den syntaktischen und korrelierend damit den prosodischen Zusammenhalt. Eine Syntaxanalyse bietet noch eine genauere Grundlage.

Eine – mehr oder weniger aufwendige – Syntaxanalyse wird häufig zur Phrasierungsvorhersage in TTS-Systemen gebraucht (vgl. Atterer 2005, Schweitzer 1999). Hier soll eine Syntaxanalyse auch zur Phrasierungserkennung benutzt werden.

Dafür wird ein Parser benutzt, der automatisch einen Syntaxbaum der gesprochenen Sätze erstellt. Aus dem Syntaxbaum werden dann Merkmale über die Zusammengehörigkeit zwischen zwei Wörtern extrahiert.

Der benutzte Dependenzformalismus (Foth et al 2000) erstellt einen Baum von typisierten Abhängigkeiten zwischen Wörtern. Die Abhängigkeit besteht dabei direkt zwischen einzelnen Wörtern. Anders als in generativen Grammatiken werden keine Konstituenten gebildet.

Die Wurzel des Dependenzbaumes ist immer das finite Verb des Satzes. Die Kanten zwischen Wörtern sind jeweils mit ihrer grammatischen Funktion gekennzeichnet. So ist beispielsweise das Verb über eine Subjekt-Kante mit einem Nomen verbunden und dieses über eine Artikel-Kante mit seinem Artikel.

Die Konstruktion des Baumes wird durch Beschränkungen (engl. constraints) bestimmt, die die möglichen Zusammenhänge zwischen allen Wörtern einschränken. So wird zum Beispiel modelliert, dass Adjektive von Nomen, Adverbien von Verben abhängen.

Die Beschränkungen entsprechen also grammatischen Regeln und die Menge der Beschränkungen ergibt die Grammatik der Sprache. Die benutzte Grammatik ist in (Foth 2006) beschrieben.

Nur wenige Regeln der Sprache sind absolut. Häufig gibt es mehrere konkurrierende Regeln. Außerdem sollen auch grammatisch unkorrekte Sätze geparst werden. Dies wird durch gewichtete Beschränkungen ermöglicht, denen jeweils Kosten zugeordnet sind.

Es wird dann nicht mehr gefordert, dass der konstruierte Baum alle Beschränkungen erfüllt. Stattdesen wird der Baum mit den geringsten Gesamtkosten durch verletzte Beschränkungen gesucht. Dadurch ist es auch möglich, ungrammatischen und damit in sich widersprüchlichen Sätzen eine „beste“ grammatische Beschreibung zuzuordnen.

Das verwendete Programm, wcdg^[40] (Foth et al 2003) implementiert unterschiedliche Methoden zur Suche nach dem besten Baum.

Hier wird die frobbing-Methode verwendet (Foth 1999). Sie beginnt mit einer beliebigen Parsing-Hypothese und transformiert diese heuristisch, bis keine Verbesserung mehr erreicht wird.

Die frobbing-Suche ist nicht vollständig, aber deutlich schneller als eine vollständige Suche. Sie erzeugt auch nicht immer einen Baum, sondern manchmal zyklische Graphen. In diesen Einzelfällen wurden die Bäume von Hand korrigiert, um die weitere Verarbeitung zu ermöglichen.

Aus dem Dependenzbaum werden nun für die Phrasierungserkennung hoffentlich hilfreiche Merkmale gewonnen. Ich habe mich für die drei Merkmale Abstand sowie linke und rechte Pfadinschrift entschieden.

Der CDG-Abstand ist die Anzahl der Kanten, die zwischen den beiden links und rechts von der möglichen Phrasengrenze liegenden Wörtern liegt. Dafür wird zunächst der Pfad vom linken Wort bis zur Wurzel verfolgt. Dann wird der Pfad vom rechten Wort in Richtung Wurzel verfolgt, bis er sich mit dem anderen Pfad vereint.

Der Abstand ist dann die Summe der auf beiden Pfaden bereits zurückgelegten Kanten. Es ist auch möglich, dass eines der beiden Wörter direkt auf dem Pfad des anderen Wortes liegt. Für die Berechnung des Abstandes ändert sich dadurch aber nichts.

Für die Pfadinschriften wird die jeweils oberste Kanteninschrift vor dem Zusammentreffen der Pfade des linken beziehungsweise rechten Wortes benutzt. Die Idee ist, dadurch die grammatische Funktion der Konstituente, zu der das jeweilige Wort gehört, möglichst gut zu beschreiben.

Hängt das eine Wort vom anderen ab, so gibt es keine Kanteninschrift, die vor dem Zusammentreffen der Pfade liegt. Dann wird für dieses Wort die leere Kanteninschrift (”“) benutzt. Die Information der Abhängigkeit bleibt also erhalten.

In Abbildung 5.2 ist ein Beispiel der Dependenzanalyse angegeben. Für drei Stellen sind in Tabelle 5.1 die berechneten CDG-Merkmale zur Verdeutlichung angegeben. Natürlich werden die Merkmale auch für alle anderen Wortgrenzen berechnet.

Die Akzentuierung sollte keinen Einfluss auf die Phrasierungserkennung haben. Die Grundannahme der Superpositionstheorie, dass die Phrasierung der Akzentuierung vorausgeht, wird auch in der Tonsequenztheorie nicht angezweifelt.

Die Aufnahme von Akzentuierungsmerkmalen für die Phrasierungserkennung dient hier lediglich dazu, den wechselseitigen Einfluss von Akzentuierung und Phrasierung genauer zu untersuchen und den Zusammenhang zwischen Akzentuierung und Phrasierung genauer zu verstehen. Die verwendeten Akzentuierungsmerkmale sind der Abstand zur linken Akzentuierung und Abstand zur rechten Akzentuierung.

Allen Korpora gemein war die überwiegende Auswahl des Merkmals Silbenkern. Auch die Silbenposition wurde als Indikator für die Wortakzentposition überwiegend gewählt.

Die Merkmale Wortart und vereinfachte Wortart wurden auch sehr häufig, teilweise auch beide gewählt. Auch die Auswahl für den Naïve-Bayes-Algorithmus wählte teilweise beide Wortart-Merkmale aus. Dies überrascht, da die Merkmale stark korreliert sind und eigentlich das vereinfachte Merkmal für den Naïve-Bayes-Algorithmus keinen zusätzlichen Nutzen haben dürfte.

Der Naïve-Bayes- und der C4.5-Algorithmus unterscheiden sich in der Art ihrer Urteilsbildung: C4.5 trifft Unterscheidungen. Naïve-Bayes sammelt Evidenz. Dies zeigt sich auch in der jeweiligen Auswahl von Merkmalen.

Formantmerkmale werden im C4.5-Algorithmus nur selten in mehreren Schichten benutzt. Trotz der generellen Korrelation von Akzentuierung und Formantmerkmalen ist der Unterschied der Formanten zwischen akzentuierten und nicht akzentuierten Silben nur selten groß genug, um auf dieser Basis generelle Entscheidungen treffen zu können.

Der Naïve-Bayes-Algorithmus nutzt Formantmerkmale stärker. Ihm nutzen die feinen Unterschiede der Formanten zwischen akzentuierten und nicht akzentuierten Silbenkernen mehr, da er besser in der Lage ist, die einzelnen Unterschiede aufzusummieren und weniger am Problem der Datenunterteilung leidet.

Ebenso nutzt C4.5 Merkmale zur Phrasenposition fast nie, während Naïve-Bayes fast durchgehend den Abstand zur nächsten Phrasengrenze verwendet. Insgesamt überrascht der geringe Einfluss der Phrasenposition und zeigt, dass die Superpositionstheorie zur Prosodiebeschreibung nicht benötigt wird.

Die genutzte Konfiguration des Naïve-Bayes-Algorithmus nimmt an, dass kontinuierliche Merkmale normalverteilt sind. Sehr deutlich zeigt sich, dass die PaIntE-Ausrichtung nicht normalverteilt ist.

Während die PaIntE-Ausrichtung in Entscheidungsbäumen eines der primären Merkmalen ist, weil es die Unterscheidung zwischen früher und später Akzentuierung erlaubt, kann der Naïve-Bayes-Algorithmus diese Information nicht auswerten.

Insbesondere nutzen die Entscheidungsbäume auch wie vorausgesehen häufig die PaIntE-Ausrichtung der vorherigen oder folgenden Silbe, um beispielsweise den späten Akzentton der aktuellen Silbe vom frühen Akzentton der folgenden zu unterscheiden.

Für Naïve-Bayes werden anstatt der PaIntE-Ausrichtung häufiger als für C4.5 die PaIntE-Flankenhöhen benutzt. Möglicherweise können diese also einen Teil der wegfallenen Information der PaIntE-Ausrichtung ersetzen.

Die Segment-Annotierung der Vokale im Kiel-Korpus ist sehr ungenau. Eine Reduktion gespannter Vokale in ungespannte wird nicht notiert (vgl. Kapitel 4). Dies erklärt, warum das ansonsten durchgehend genutzte Merkmal Silbenkern im Kiel-Korpus weniger häufig genutzt wird, da das notierte Phonem nicht immer Aufschluss über die zu erwartenden Lauteigenschaften erlaubt.

Reduzierte Vokale sind im Wien-Korpus mit der Dauer von 1 ms annotiert. Es überrascht wenig, dass das Merkmal Silbenkerndauer immer ausgewählt wird, da reduzierte Vokale immer in nicht-akzentuierten Silben stehen.

Die Worthäufigkeit wurde in einigen Korpora gewählt, in anderen nicht. Es bleibt unklar, ob dies durch Unterschiede zwischen den Sprechern oder zwischen den zugrundeliegenden Texten begründet ist.

Die ausgewählten Merkmale unterscheiden sich deutlich zwischen den Sprechern. Teilweise ist dies sicher den Korpusunterschieden geschuldet. Daneben gibt es aber weitergehende Unterschiede.

Der Sprecher kko im Kiel-Korpus fällt durch sehr regelmäßige Sprache auf. Tatsächlich ermittelt die Kreuzvalidierung für den Naïve-Bayes-Klassifizierer in einer Schicht nur die drei Merkmale Silbenposition, Silbenanzahl und vereinfachte Wortart und erreicht ein F-Maß von 83 %.

Alle drei gewählten Merkmale sind textbasiert. Die beste Schicht für den C4.5-Klassifizierer ermittelt dagegen 19 Merkmale (darunter viele PaIntE-Merkmale) und erreicht ein noch höheres F-Maß von 86 %.

Dies ist natürlich ein Zeichen von Überanpassung, da die anderen Schichten nur je 5 – 8 Merkmale nutzen. Andererseits ist es auch ein Zeichen für die Regelmäßigkeit der Sprache: Durch mehr Merkmale konnte die Akzentuierung des Sprechers immer noch besser beschrieben werden, ohne dass die neuen Merkmale an anderen Stellen die Erkennung verschlechtert hätten.

Die Sprecherin rtd im Kiel-Korpus benötigt ähnlich viele Merkmale wie die anderen Sprecher. Es handelt sich bei der regelmäßigen Aussprache von kko also nicht um eine Eigenheit des Kiel-Korpus.

Die Sprecherin rtd und der Sprecher des Wien-Korpus zeichnen sich durch das Merkmal Schalldruckleistung aus, das überwiegend ausgewählt wurde. Im IBM- und IMS-Korpus spielt sie praktisch keine Rolle, dafür aber die Grundfrequenz im Silbenkern.

Dies deutet darauf hin, dass Akzentuierungen nicht von allen Sprechern gleichartig realisiert werden. Anscheinend überwiegt bei einigen Sprechern die Akzentuierung durch Intensität, bei anderen die durch Tonhöhenvariation.

Auf Grundlage der Analyse der Kreuzvalidierungen wurden jeweils auch manuelle Merkmalsauswahlen getroffen. Diese sollten vermeintliche Fehler der automatischen Auswahl korrigieren und das Gesamtresultat über alle Schichten der Kreuzvalidierungen widerspiegeln.

Die manuell ausgewählten Merkmale sind in den Tabellen in Anhang Anhang A jeweils hervorgehoben.

Auf Basis der manuellen Auswahlen und der Auswahl der jeweils besten Schicht der Kreuzvalidierung wurden die Klassifizierer neu trainiert und ihre Leistung an der Testmenge überprüft. Die Ergebnisse sind in Tabelle 6.2 aufgelistet.

Die manuelle Merkmalsauswahl zeigt keine Vorteile gegenüber der Merkmalsauswahl der jeweils besten Schicht der Kreuzvalidierung. Teilweise konnte die Leistung etwas gesteigert werden, jedoch fiel sie teilweise auch deutlich ab.

Die Leistung der beiden Klassifizierungsalgorithmen bei der Akzentuierungserkennung unterscheidet sich kaum. Im Schnitt ist C4.5 etwas besser. Die Merkmalsgrundlage für die beiden Klassifizierungsalgorithmen unterscheidet sich dabei durchaus.

Hinsichtlich der Korpora zeigt sich, dass die Erkennungsrate im IMS- und im IBM-Korpus etwas schlechter ist als in den anderen Korpora. Dies ist möglicherweise der größeren Bandbreite des enthaltenen Textmaterials geschuldet.

Wie erwartet ist die Akzentuierungserkennung für den Sprecher kko am besten. Der oben ermittelte Naïve-Bayes-Klassifizierer mit nur drei Merkmalen fällt allerdings auf der unabhängigen Testmenge deutlich zurück. Der C4.5-Klassifizierer mit 19 Merkmalen ist auf der Testmenge hingegen beinahe genauso gut wie bei der Merkmalsauswahl. Dies spricht erneut für die überraschend gleichmäßige Aussprache von kko.

Die auffälligste Eigenheit hat das Wien-Korpus: Jede Vollgrenze koinzidiert mit einer Pause und an jeder Pause steht eine starke Phrasengrenze. Die Klassifizierung der Vollgrenzen ist also trivial.

Vermutlich führt die syntaktische Regelmäßigkeit des Frage-Antwort-Teilkorpus im Wien-Korpus dazu, dass für die Erkennung der Zwischengrenzen fast ausschließlich textbasierte Merkmale verwendet werden. Dehnung und Leistungsabfall sind neben der Pause die einzigen verwendeten phonetischen Merkmale.

Das Kiel-Korpus ist nur mit einer Sorte Phrasengrenzen annotiert. Die Klassifizierung unterscheidet sich also grundsätzlich von den anderen Korpora, da schwache und starke Phrasierungen in einer Klasse zusammengefasst sind und nur zwei Klassen unterschieden werden.

Im Wien-Korpus sind zwar ebenfalls nur zwei Klassen nicht-trivial zu unterscheiden. Die triviale Klasse enthält jedoch alle starken Phrasierungen und die verbleibenden Phrasengrenzen sind alle schwach. Die Klasse ist deswegen in sich homogener als die Klasse aller Phrasierungen im Kiel-Korpus. Dies ist wahrscheinlich der Grund dafür, dass die Ergebnisse im Kiel-Korpus gegenüber dem Wien-Korpus deutlich abfallen.

Außerdem sind die Äußerungen im Kiel-Korpus vergleichsweise kurz, sodass insgesamt weniger Phrasierungen und somit weniger Beispiele zum Training der Klassifizierer vorkommen.

Die ausgewählten Merkmale unterscheiden sich zwischen den einzelnen Sprechern. Die für die Phrasierungserkennung jeweils besten Merkmale sind also von Sprecher zu Sprecher verschieden.

An textbasierten Merkmalen wird vor allem der Abstand zum folgenden Satzzeichen und die vorangehende und folgende Wortart genutzt. Letztere in geringerem Maße. Bei der Sprecherin rtd wurde zudem die CDG-Distanz genutzt.

Von den akustischen Merkmalen wird vor allem die finale Dehnung und der finale Leistungsabfall genutzt. Die Pause spielt eine untergeordnete Rolle. Unter den Merkmalen zum Tonhöhenverlauf werden verschiedene Merkmale, vor allem die Painte-Ausrichtung ausgewählt.

Die beiden übrigen Korpora sind die einzigen, in denen tatsächlich drei nicht-triviale Klassen zu unterscheiden sind: starke, schwache und keine Phrasengrenze.

Wie schon für die Akzentuierung wurden auf Grundlage der Kreuzvalidierungen manuell Merkmale ausgewählt und die Leistung der entstehenden Klassifizierer mit der der jeweils besten Schichten auf unabhängigem Testmaterial verglichen.

Die Ergebnisse sind in Tabelle 6.4 zusammengefasst. In den einzelnen Tabellenzellen gibt die linke Zahl die Leistung (in Prozent) für Zwischengrenzen an, die rechte Zahl die für Vollgrenzen.

Bei der Phrasierungserkennung sind die Entscheidungsbäume deutlich erfolgreicher als die Naïve-Bayes-Klassifizierer. Möglicherweise liegt dies daran, dass die Klassen in sich nicht besonders homogen sind und je nach Kontext unterschiedlich realisiert werden.

So geht am Ende einer Frage die Grundfrequenz meist nach oben, am Ende einer Aussage allerdings nach unten. Dieses Phänomen ist allerdings regelmäßig mit dem Satzzeichen verbunden. Manche Kombinationen von vorangehender und folgender Wortart zeigen eine Phrasierung an, dafür wird also eine Kombination der einzelnen Merkmale benötigt. Der Entscheidungsbaum ist in der Lage, je nach Kontext zu unterscheiden. Dem Naïve-Bayes-Klassifizierer gelingt diese Unterscheidung nicht.

Die manuelle Merkmalsauswahl zeigt gegenüber der jeweils besten Schicht der Kreuzvalidierung bei C4.5 selten Vorteile. Die Leistung von NB kann durch die manuelle Auswahl zwar gesteigert werden, bleibt aber ungenügend.

Die Erkennungsleistung im Wien-Korpus ist erwartungsgemäß am höchsten. Zunächst müssen nur zwei Klassen (keine und schwache Grenze) wirklich unterschieden werden. Die bessere Leistung gegenüber dem Kiel-Korpus erklärt sich dann daraus, dass die Klassen in sich homogener sind, da die starken Grenzen in eine weitere (aber trivial zu bestimmende) Klasse ausgelagert sind.

Der Naïve-Bayes-Algorithmus liefert bei der sprecherunabhänngigen Akzentuierungserkennung gegenüber C4.5 die besseren Ergebnisse. Im Schnitt erreichen beide Algorithmen ein hohes F-Maß von 70 % (NB) beziehungsweise 69 % (C4.5). Der beste NB-Klassifizierer erreicht für den Sprecher k09 ein F-Maß von fast 82 %.

Die Ergebnisse für die auch einzeln untersuchten Sprecher kko und rtd sind erwartungsgemäß schlechter als beim Training auf sprechereigenem Material. Für kko fällt die Leistung (F-Maß) von 83 % auf 78 % zurück, für rtd von 78 % auf 73 %. Der Rückgang beträgt also jeweils nur etwa 5 %.

Die sprecherunabhängige Akzentuierungsvorhersage kann unter diesen Umständen als gelungen betrachtet werden. Die schlechteren Ergebnisse für rtd als für kko liegen wahrscheinlich an einer weniger regelmäßigen Akzentuierung durch die Sprecherin.

Bei den Merkmalen ergibt sich ein ähnlich durchmischtes Bild wie bei der sprecherabhängigen Merkmalsauswahl. Häufig werden Wortart, Silbenkern, verschiedene Dauermerkmale des Silbenkerns und der ganzen Silbe, sowie die Silbenposition ausgewählt.

PaIntE-Merkmale (Ausrichtung, Flankensteigung) werden ebenfalls häufig ausgewählt. Überraschend ist die Auswahl der Formanten, die anscheinend über Sprechergrenzen hinweg hinreichend stabil sind, um bei der Akzentuierungsvorhersage zu helfen.

Die Ergebnisse der sprecherübergreifenden Phrasierungserkennung überzeugen nicht. Dies liegt wahrscheinlich an dem zu kleinen Anteil von Phrasierungen im Kiel-Korpus. Dadurch reichen die Trainingsdaten für erfolgreiches Lernen nicht aus.

Der starke Datenmangel beim Training zeigt sich auch in der Anzahl ausgewählter Merkmale. Der Entscheidungsbaum funktioniert nach dem Prinzip teile und herrsche und leidet deswegen noch stärker am Datenmangel. Entsprechend werden für ihn im Schnitt nur etwa 12, für den Naïve-Bayes-Klassifizierer fast 16 Merkmale ausgewählt.

Eine Analyse der Merkmalsauswahl ist trotz der schlechten Ergebnisse der Klassifizierung sinnvoll. Sie spiegelt Muster innerhalb der sprecherübergreifenden Trainingsmengen wider, unabhängig von den Klassifizierungsergebnissen auf unabhängigem Testmaterial.

Unter den textbasierten Merkmalen werden Abstand zu Satzzeichen, Art des Satzzeichens und die Wortart vor und nach der möglichen Grenze gewählt. Der Naïve-Bayes-Klassifizierer nutzt auch die rechte CDG-Pfadinschrift.

Beide Klassifizierer nutzen die Dehnung fast durchgängig. Ansonsten unterscheiden sie sich bei den phonetischen Merkmalen stärker. C4.5 wählt neben der Dehnung nur noch den Sprung der Regressionsgeraden über 2000 ms. Wahrscheinlich reichen die Trainingsdaten für C4.5 nicht aus, um noch weitere Merkmale auszuwählen.

Der Naïve-Bayes-Klassifizierer wählt mehrere zusätzliche akustische Merkmale, darunter verschiedene PaIntE-Merkmale, den Leistungsabfall in der letzten Silbe und den quadratischen Fehler der Regressionsgeraden über die folgenden 2000 ms.

Die Ergebnisse der sprecherunabhängigen Erkennung fallen zwar gegenüber der sprecherabhängigen Erkennung um einige Prozentpunkte zurück, liegen aber immer noch im Schnitt bei 65 %.

Die Leistung ist im Vergleich zum Kiel-Korpus schlechter. Dies kann daran liegen, dass nur auf Material von jeweils zwei Sprechern und nicht von 24 trainiert wurde. Hinzu kommen die Unterschiede in Segmentierung und Prosodieannotierung zwischen den Korpora.

Die gewählten Merkmale entsprechen den ansonsten häufig benutzten: Silbenkern, Silbendauer, relative Silbenkerndauer, Silbenposition und Wortart. Für C4.5 wird die PaIntE-Ausrichtung und für Naïve-Bayes die PaIntE-Flankensteigung gewählt. Diese beiden Merkmale scheinen vergleichsweise sprecherinvariant zu sein. Ebenfalls werden Formanten und die mittlere Grundfrequenz des Silbenkerns ausgewählt.

Das letztgenannte Merkmal macht deutlich, dass alle drei Korpora von Männern gesprochen wurden. Diese Ergebnisse zeigen also, dass die Akzentuierungserkennung sprecherunabhängig und zu einem gewissen Maße auch korpusunabhängig ist. Sie zeigen aber nicht, ob eine geschlechtsunabhängige Erkennung funktioniert.

Wie erwartet unterscheidet sich die Phrasierung (beziehungsweise ihre Annotierung) zwischen den Korpora zu stark als dass sinnvolle Ergebnisse bei der sprecherunabhängigen Phrasierungserkennung erzielt werden könnten.

Es zeigt sich allerdings, dass korpusübergreifend die Dehnung das robusteste Merkmal ist. Der Naïve-Bayes-Algorithmus zeigt etwas bessere Ergebnisse als C4.5. Wahrscheinlich läuft er weniger stark Gefahr, korpusspezifische Eigenheiten zu lernen, die im Testmaterial nicht auftauchen.

Für das verwendete Synthesekorpus stand bisher keine Prosodieannotierung zur Verfügung. Die Entscheidungsbäume für die Vorhersage von Phrasierungen und Akzentuierungen wurden deswegen mit sprecherfremdem Material trainiert. Natürlich können bei der Klassifizierung nur textbasierte Merkmale genutzt werden, weil die akustische Realisierung bei der Synthese erst noch bestimmt werden muss.

Das Phrasierungstraining nutzte die annotierten Phrasengrenzen des Korpus, das auch im Rahmen dieser Arbeit (als IBM-Korpus) eingehend untersucht wurde. Dem Entscheidungsbaum zum Lernen der drei Phrasengrenzklassen (keine Grenze, Zwischengrenze und Vollgrenze) stehen als Merkmale Wortart, Silbenzahl, Distanzen zum linken und rechten Satzzeichen und Art dieses Satzzeichens zur Verfügung. Die Merkmale werden jeweils für das vorvorhergehende, vorhergehende, aktuelle, nächste und übernächste Wort ermittelt und zur Verfügung gestellt. Die Merkmalsauswahl wird allein dem Entscheidungsbaum überlassen.

Das Akzentuierungstraining nutzte als Trainingsmaterial die Ausgabe eines syntaxgesteuerten, regelbasierten Verfahrens. Dieses Verfahren ist rein text-basiert und damit sprecherunabhängig. Es unterscheidet insgesamt sieben Grade der Akzentuierung auf Wortebene. Diese sieben Grade werden als Klassen und nicht als geordnete Werte oder Regression gelernt. Zur Verfügung stehen die Merkmale Wortart, Silbenzahl, Distanzen zur linken und rechten Phrasengrenze und Typ der Phrasengrenze, ebenfalls in einem Fenster vom vorvorhergehenden bis zum übernächsten Wort.

Für die Merkmale die auf Phrasengrenzen basieren, wird das Ergebnis der zuvor erfolgten Phrasengrenzklassifizierung benutzt und nicht die tatsächlichen, annotierten Phrasengrenzen. Auch bei der Synthese steht nur die Klassifizierung durch das Phrasierungsmodul zur Verfügung und nicht eine absolut korrekte Phrasierung. Der Umgang mit Fehlern des Phrasierungsmoduls wird deswegen im Akzentuierungsmodul gleich mitgelernt.

Die Zuordnung der Akzentuierungen auf Silbenebene ergibt sich aus der Kombination der gelernten Akzentuierungen auf Wortebene und der unabhängig vom Kontext zugewiesenen Wortakzente für dieses Wort.

Die Regressionsbäume für die akustischen Parameter Grundfrequenzverlauf und Lautdauer, die schließlich die Prosodie repräsentieren, werden auf der Grundlage der symbolischen Ausgabe des Front-Ends aus dem Synthesekorpus ermittelt. Die Grundfrequenz wird für jede Silbe bestimmt. Merkmale für den Klassifizierer sind Akzentuierung, Wortart, Position in der Phrase und Phrasentyp, jeweils in einem Fenster von der vorvorhergehenden bis zur übernächsten Silbe.

Die Lautdauer wird für jeden Laut einzeln bestimmt. Der Klassifizierer kann Lautmerkmale (Phonem, Artikulationsart, Stimmhaftigkeit, Silbenstellung), die Akzentuierung der enthaltenden Silbe, die Position der Silbe im Wort und des Wortes in der Phrase für seine Vorhersagen nutzen.

Die vorangegangenen Kapitel haben gezeigt, dass sich die Korpora hinsichtlich ihrer Aufbereitung und Annotierung teils deutlich unterscheiden. Die Nutzung der Daten aller Korpora als Trainingsmaterial hätte deswegen wahrscheinlich zu schlechteren Ergebnissen geführt als eine gezielte Auswahl. Andererseits gibt es auch große sprecherspezifische Unterschiede, weshalb die Nutzung von Daten mehrerer Sprecher Vorteile bringen sollte.

Während sich die IBM- und IMS-Korpora für die Akzentuierungsvorhersage nur wenig voneinander unterschieden, waren die Unterschiede bei Phrasengrenzen auch zwischen diesen beiden Korpora groß. Das VPSC ist mit den beiden genannten Korpora zumindest hinsichtlich der Akzentuierungsannotierung vergleichbar. Allerdings unterscheidet sich das Segment-Alignment im VPSC in reduzierten Silben deutlich davon (vgl. Kapitel 4 und Kapitel 6).

Für das Phrasierungstraining wird deshalb nur das IBM-Korpus, für das Akzentuierungstraining zusätzlich das IMS-Korpus benutzt.

Der Naïve-Bayes-Algorithmus wurde als Basis für die zu erstellenden Klassifizierer gewählt, da er sich bisher als robuster gegenüber unterschiedlichen Verhältnissen in unterschiedlichen Teilen des Trainingsmaterials gezeigt hat.

Das zu annotierende Korpus ist von einer Frau gesprochen, während die Sprecher sowohl des IBM- als auch des IMS-Korpus Männer sind. Die zu wählenden Merkmale für die Klassifizierer müssen also geschlechterunabhängig – oder noch besser: spezifisch für eine Frauenstimme – sein.

Für einen kleinen Teil des zu annotierenden Korpus stand bereits eine Prosodieannotierung zur Verfügung.^[42] Dieses annotierte Material sollte gewinnbringend genutzt werden.

Innerhalb des Kiel-Korpus wurde deswegen ein Experiment zur gesteuerten Merkmalsauswahl durchgeführt. Die Ergebnisse waren vielversprechend.

Mit der Auswahl der Testäußerungen sollten die beiden Haupteinsatzgebiete von TTS-Systemen, Dialog-Systeme und Vorlesesysteme, abgedeckt werden. Für Dialog-Systeme sind Fragen, Anweisungen und Hinweise/Auskünfte charakteristisch. Vorlese-Systeme äußern überwiegend lange und kurze Aussagesätze, aber auch Fragen.

Die Zahl der Testäußerungen musste klein bleiben. Die Perzeptionstests sollten in wenigen Minuten durchführbar sein, um die Teilnehmer nicht übermäßig zu strapazieren. Gleichzeitig sollten die Paare von Testäußerungen sich auch tatsächlich in ihrer Prosodie unterscheiden. Deshalb wurden zunächst 70 Äußerungen aus sieben Kategorien (für Dialoge: Frage, Anweisung, Hinweis/Auskunft, für Vorlesen: Frage, kurzer Satz, langer Satz) aus dem IMS-Korpus ausgewählt. Die Äußerungen wurden jeweils mit dem alten und dem neuen System synthetisiert und dann die Herkunft der beiden Stimuli innerhalb der Synthesepaare randomisiert.

Aus den 70 Synthesepaaren wurden dann für den Perzeptionstest geeignete ausgewählt. Sätze mit gravierenden Synthesefehlern wurden zunächst aussortiert, dann solche, die sich nicht voneinander unterschieden. Vier der Synthesepaare waren bitgenau identisch, viele andere unterschieden sich nicht oder nur sehr gering^[44]. Aus den verbliebenen Äußerungen habe ich neun Paare ausgewählt, deren Stimuli sich möglichst stark unterschieden.

Die ausgewählten Äußerungen sind in Anhang C aufgelistet.

Am Perzeptionstest nahmen 21 Personen (13 Männer und 8 Frauen) teil. Einige der Teilnehmer waren keine Muttersprachler des Deutschen. Diese Teilnehmer sprachen aber meiner und ihrer eigenen Einschätzung nach hinreichend gut Deutsch, um die Prosodie bewerten zu können.

Die Stimuli wurden in einer Powerpoint-Datei präsentiert, die das Abspielen der Stimuli durch einfaches Klicken auf Lautsprechersymbole erlaubte. Die Teilnehmer wurden gebeten, vor dem Abspielen der Stimuli die ebenfalls schriftlich präsentierte Äußerung durchzulesen. Auf diese Weise war der Inhalt der Äußerung dem Teilnehmer sowohl beim Hören des ersten als auch des zweiten Stimulus bekannt.

Die Teilnehmer konnten die Stimuli beliebig häufig und in beliebiger Reihenfolge abspielen und sollten dann auf einem Bewertungsbogen angeben, welcher der beiden viel besser oder etwas besser war, oder ob sie beide gleich waren. Kriterium sollte ihr „Gesamteindruck unter besonderer Beachtung der Natürlichkeit und prosodischen Qualität“ sein. Soweit notwendig, habe ich „prosodische Qualität“ dem Teilnehmer erläutert. Das Ausfüllen des Bewertungsbogens dauerte fünf bis zehn Minuten.

Möglicherweise war es ein Fehler, die Teilnehmer nicht darauf hinzuweisen, dass nicht immer rechts die neuen und links die alten Syntheseergebnisse (oder anders herum) zu hören waren. Mindestens zwei der Teilnehmer (die am Test per E-Mail teilnahmen) vermuteten dies. Dies legt den Schluss nahe, dass sie und vielleicht weitere Teilnehmer sich dadurch in ihren Entscheidungen haben beeinflussen lassen.

Zur Berechnung der durchschnittlichen Bewertung wurde die Zuordnung von alt und neu wieder hergestellt und die einzelnen Bewertungen wie in Tabelle 8.1 angegeben in Zahlenwerte umgerechnet.

Abbildung 8.1 gibt den Mittelwert der Bewertung für die einzelnen Äußerungen an. Die mittlere Bewertung liegt bei −0,39 auf der Skala von −2 bis +2. Die ursprüngliche Synthese ist also als deutlich besser eingestuft worden.

Dieses sehr deutliche Ergebnis relativiert sich bei der Betrachtung der beiden angenommenen Einsatzgebiete des TTS-Systems. Während die Durchschnittswertung für Dialog-Äußerungen bei −0.86 liegt, liegt das Ergebnis fürs Vorlesen fast ausgeglichen bei −0,01. Die beiden kurzen Vorlesesätze wurden sogar deutlich besser bewertet als die langen und die Frage.

Das automatisch prosodieannotierte Synthesekorpus, mit dessen Hilfe die Prosodiemodule des TTS-Systems trainiert wurden, bestand ausschließlich aus Sätzen, die Zeitungstexten entnommen waren. Dies sind typische Lesetexte. Dialog-Ausschnitte oder ähnliches waren nicht im annotierten Korpus enthalten. Dies korreliert mit der besonders schlechten Leistung der neu trainierten Sprachsynthese bei Dialog-Äußerungen. Gleichzeitig zeigt es die Möglichkeit der Verbesserung in diesem Bereich auf, wenn entsprechende Daten automatisch prosodieannotiert werden.

Die größten prosodischen Unterschiede zwischen der alten und der neu trainierten Sprachsynthese liegen, auch nach Meinung der Teilnehmer, in der Phrasierung. Dies überrascht, da das Phrasierungsmodul letztendlich nicht auf dem neu annotierten Material trainiert werden sollte. Entweder ist an dieser Stelle beim Training ein Fehler geschehen, oder aber das neu trainierte Akzentuierungsmodul beeinflusst die Realisierung der Phrasierung so stark, dass unterschiedliche Fehlphrasierungen desselben Moduls unterschiedlich zur Geltung kommen.

An Phrasengrenzen fügt das Back-End kurze Pausen in das Signal ein. Die Länge dieser Pausen wird nicht trainiert, sondern durch Regeln bestimmt. Pausierungsfehler wirken sich in mindestens zwei der Äußerungen deutlich stärker in der neu trainierten Synthese aus als in der alten. An diesen Stellen geht der generierte Grundfrequenzverlauf an der Zwischengrenze in der neuen Synthese nach oben, während die alte monoton verläuft und nur die Laute gedehnt sind.

Die Pause nach der ansteigenden Zwischengrenze (entsprechend dem ToBI-Phrasenton H-) wirkt sehr unnatürlich. Wenn die Pause manuell entfernt wird, klingt (meiner Meinung nach) die neu trainierte Synthese an diesen Stellen deutlich besser.

Das insgesamt schlechtere Abschneiden der neu trainierten Synthese kann also auch darauf zurückgeführt werden, dass die neu trainierten Module zwar besser zur Sprecherin passen, jedoch schlechter in das Gesamtsystem integriert sind. Vor allem die Feineinstellung vieler Parameter wurde vom alten System direkt übernommen anstatt auf die neuen Gegebenheiten abgestimmt.