{"id":76755,"date":"2021-06-08T10:06:48","date_gmt":"2021-06-08T10:06:48","guid":{"rendered":"https:\/\/wp-staging.amberscript.com\/blog\/dutch-punctuation-model\/"},"modified":"2023-03-07T14:44:50","modified_gmt":"2023-03-07T13:44:50","slug":"modello-di-punteggiatura-olandese","status":"publish","type":"post","link":"https:\/\/wp-staging.amberscript.com\/it\/blog\/modello-di-punteggiatura-olandese\/","title":{"rendered":"Modello di punteggiatura olandese"},"content":{"rendered":"\n

Gli aspetti grammaticali come il gerundio, le preposizioni e le regole grammaticali di base giocano un ruolo importante nella maggior parte delle lingue conosciute. Hai mai pensato al fatto che anche la punteggiatura svolge un ruolo fondamentale?<\/p>\n\n\n\n

La punteggiatura \u00e8 importante nel linguaggio. Essa implica la corretta disposizione di piccoli segni, a volte poco evidenti, nei luoghi appropriati per indicare l’esatta lunghezza e il significato della frase.<\/p>\n\n\n\n

Nel testo che segue, daremo un’occhiata pi\u00f9 da vicino al modello di punteggiatura AI che abbiamo sviluppato per il nostro modello di riconoscimento vocale della lingua olandese.<\/p>\n\n\n\n

Il ruolo della punteggiatura nel linguaggio<\/strong><\/h2>\n\n\n\n

La punteggiatura \u00e8 parte integrante del testo scritto e contribuisce a renderlo comprensibile e coerente. L’assenza di punteggiatura ostacola la leggibilit\u00e0 e pu\u00f2 rendere i testi incomprensibili. Inoltre, i segni di punteggiatura riducono l’ambiguit\u00e0. Considera questo esempio in cui una virgola pu\u00f2 alterare completamente il significato di una frase:<\/p>\n\n\n\n

\n

\u201cMost of the time travellers worry about their luggage\u201d<\/em><\/p>\n<\/blockquote>\n\n\n\n

vs<\/p>\n\n\n\n

\n

\u201cMost of the time, travellers worry about their luggage\u201d<\/em><\/p>\n<\/blockquote>\n\n\n\n

La mancanza di punteggiatura pu\u00f2 anche portare a frasi imbarazzanti, come in questo classico esempio:<\/p>\n\n\n\n

\n

\u201cI find inspiration in cooking my family and my dog\u201d<\/em><\/p>\n<\/blockquote>\n\n\n\n

Punteggiatura nel parlato-testo<\/strong><\/h2>\n\n\n\n

I sistemi speech-to-text devono quindi includere la punteggiatura quando producono una trascrizione. I tipici sistemi di riconoscimento automatico vocale (ASR), tuttavia, non producono segni di punteggiatura perch\u00e9 non hanno una forma parlata. Inoltre, la trascrizione generata \u00e8 composta solo da parole minuscole, il che la rende difficile da capire. Una trascrizione correttamente punteggiata aiuta anche la generazione automatica di sottotitoli per i video.<\/p>\n\n\n\n

Questo problema pu\u00f2 essere risolto incorporando un modello di punteggiatura separato in grado di aggiungere automaticamente la punteggiatura all’output di un modello ASR. Pu\u00f2 essere considerato un problema di elaborazione del linguaggio naturale (NLP) in cui l’obiettivo \u00e8 prevedere il segno di punteggiatura (o la sua mancanza) per ogni parola in una trascrizione.<\/p>\n\n\n

\n\t
\n
\n\t\t \n\n
\t\t \n\n
\n\n \"How <\/div>\n \t\t\t\n <\/div>\n\t\t \n\n
\n\n \n \n

Leggi come funziona il riconoscimento vocale automatico<\/h3>\n \n \n Leggi l'articolo<\/a>\n \n <\/div>\n <\/div>\n <\/div>\n<\/div>\n\n\n\n

Modelli linguistici<\/strong><\/h2>\n\n\n\n

L’apprendimento profondo ha registrato enormi progressi negli ultimi anni, alimentati dall’aumento della potenza di calcolo. Il campo dell’NLP \u00e8 stato preso d’assalto dall’introduzione di BERT<\/a> nel 2018. Sviluppato da Google AI, BERT \u00e8 un modello linguistico di grandi dimensioni basato sull’architettura transformer<\/a>. \u00c8 stato definito il momento ImageNet dell’NLP<\/a>, in riferimento al modo in cui ImageNet ha guidato i progressi nell’apprendimento delle rappresentazioni dalle immagini nel campo della computer vision. BERT rappresenta un netto miglioramento rispetto ai modelli di rappresentazione linguistica precedenti, come GloVe<\/a> embeddings, e alle rappresentazioni contestuali come ELMo<\/a>.<\/p>\n\n\n\n

Per una spiegazione intuitiva del funzionamento di BERT, consulta questo eccellente blog di Jay Alammar<\/a>. In parole povere, viene addestrato su testi grezzi in modo auto-supervisionato, cio\u00e8 senza annotazioni umane. In particolare, viene addestrato su due compiti: la modellazione del linguaggio mascherato e la previsione della frase successiva. Al termine dell’addestramento, il modello \u00e8 detto “pre-addestrato” e cattura la semantica del linguaggio con le sue rappresentazioni di parole e frasi. Un BERT pre-addestrato pu\u00f2 quindi essere messo a punto su un compito NLP a valle. Quando \u00e8 stato pubblicato, il BERT ha prodotto risultati all’avanguardia dopo la messa a punto su una serie di compiti di NLP, tra cui l’inferenza del linguaggio naturale (NLI), la risposta alle domande, ecc.<\/p>\n\n\n\n

Modello di punteggiatura in Amberscript<\/strong><\/h2>\n\n\n\n

In Amberscript sviluppiamo modelli ASR personalizzati, uno dei quali per l’olandese. Come gi\u00e0 detto, le trascrizioni prodotte dal modello sono prive di segni di punteggiatura. Attualmente non esistono modelli di punteggiatura open-source specifici per la lingua olandese. Pertanto, abbiamo sviluppato un modello di punteggiatura basato su BERT per aggiungere automaticamente i seguenti segni di punteggiatura: punto interrogativo, punto, punto esclamativo, virgola, due punti e punto e virgola. Altri segni di punteggiatura che si presentano in coppia, come le virgolette e le parentesi, sono molto pi\u00f9 difficili da determinare solo sulla base del testo.<\/p>\n\n\n\n

La pipeline<\/strong><\/h2>\n\n\n\n

L’intera pipeline ASR \u00e8 costituita da tre componenti principali: il modello ASR che produce testo in minuscolo, un modulo di post-elaborazione che capitalizza le entit\u00e0 nominate (nomi di persone, luoghi, ecc.), esegue la denormalizzazione dei numeri, le correzioni ortografiche, ecc. e infine un modello di punteggiatura che aggiunge i segni di interpunzione necessari.<\/p>\n\n\n

\n
\"modello<\/figure>\n<\/div><\/div>\n\n\n

Demo<\/h2>\n\n\n\n

Per mostrare il modello di punteggiatura in azione, possiamo prendere questo esempio di output del modello ASR:<\/p>\n\n\n\n

\n

nog een laatste een likje verf zodat de attracties er piekfijn uitzien hier is alles bijna klaar om weer open te kunnen je merkt dat het nu weer begint te kriebelen eigenlijk bij ons alle monteurs zijn weer bezig de groendienst is weer bezig het park mooi te maken de schoonmaakdienst is alles weer aan het schoonmaken dus we zijn er echt gereed een maken om straks weer de poorten te openen<\/em><\/p>\n<\/blockquote>\n\n\n\n

Il risultato dell’applicazione della post-elaborazione e del modello di punteggiatura \u00e8 il seguente:<\/p>\n\n\n\n

\n

Nog een laatste: een likje verf, zodat de attracties er piekfijn uitzien. Hier is alles bijna klaar om weer open te kunnen. Je merkt dat het nu weer begint te kriebelen eigenlijk bij ons. Alle monteurs zijn weer bezig. De groendienst is weer bezig het park mooi te maken. De schoonmaakdienst is alles weer aan het schoonmaken, dus we zijn er echt gereed een maken om straks weer de poorten te openen.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Si noti che l’output del modello ASR \u00e8 difficile da leggere, mentre la trascrizione finale dopo l’aggiunta dei segni di punteggiatura \u00e8 pi\u00f9 naturale.<\/p>\n\n\n\n

Punteggiatura inclusa nelle trascrizioni di Amberscript<\/strong><\/h2>\n\n\n\n

Se sei alla ricerca di una trascrizione pulita e accurata, che includa la giusta punteggiatura, dovresti provare a utilizzare un servizio di trascrizione automatico di Amberscript<\/a>.<\/p>\n\n\n\n

Offriamo opzioni di trascrizione veloci, accurate e convenienti che sicuramente miglioreranno i tuoi flussi di lavoro. Inoltre, se hai bisogno della trascrizione pi\u00f9 accurata, dovresti provare la trascrizione professionale di Amberscript<\/a>. I nostri esperti linguistici sono madrelingua e creano testi di altissima precisione in formato lettura (testo reso pi\u00f9 leggibile) o formato letterale (tutte le parole vengono scritte esattamente come sono state pronunciate).<\/p>\n\n\n\n\n\n\t

\n\t\t\n\t
\n\n