Morfologik

Postanowiłem opublikować kolejną wersję pakietu Morfologik. Główne zmiany: poprawki usterek (m.in. błędnej kolejności anotacji niektórych form czasownikowych); więcej form (obecnie 3533852); nowy znacznik bedzie oznaczający formy typu czasownika „być” takie jak „będzie” (wprowadzono dla zgodności z korpusem IPI). Nowa wersja wkrótce pojawi się na serwerach sourceforge.net.

Dziś udostępniłem kolejną wersję pakietu Morfologik. Nowości: poprawiona anotacja narzędnika (dzięki ZeeWolfowi); wprowadzono znacznik adjp dla przymiotników poprzyimkowych takich jak „prostu” czy „niemiecku”; wprowadzono trochę znaczników form deprecjatywnych ( depr ); więcej wyrazów (3523271 form). 3,5 miliona form – czyli jest to największy słownik morfologiczny polszczyzny. Zapraszam do pobierania.

Dostępna jest już nowa wersja LanguageTool . Do nowości należy: wiele nowych reguł holenderskich (już 196 reguł); poprawki w regułach angielskich (203 reguły); tłumaczenie słoweńskie; poprawki w regułach polskich i niemieckich; nowe polskie reguły (było 438, są 452). Powinno być znacznie mniej fałszywych alarmów. W wersji OpenOffice.org 2.2 mniej dolegliwy powinien być problem zanikania okienka LanguageTool (uwaga: w OpenOffice.org 2.2 PL Menedżer pakietów będzie nosić nazwę Menedżer rozszerzeń ). Instalacja: W programie OpenOffice.org 2.x Kliknij polecenie Narzędzia > Menedżer pakietów > Dodaj , a następnie wybierz plik LanguageTool-0.8.8.zip (bez rozpakowywania). Po otwarciu nowego okna edytora OpenOffice.org Writer (naciśnij klawisze Ctrl+N) w menu pojawi się nowe menu LanguageTool , które zawiera polecenie Sprawdź tekst ... służące do sprawdzania tekstu. Bez programu OpenOffice.org Rozpakuj archiwum LanguageTool-0.8.8.zip i uruchom plik LanguageToolGui.jar, klikając go dwu...

W komentarzach proszę wpisywać tutaj zauważone usterki w działaniu polskiego korektora LanguageTool.

(As this is of interest not only to the Polish-speaking community, this post is in English.) Recently, after some discussions on the lingucomponent list at OpenOffice.org on the method of finding frequent typos, I did some experiments on the revision history logs. Background. The developers of grammar checkers, and autocorrect lists, have hard times with finding relevant corpora. Revision history is an excellent source about native speakers perception of linguistic norms. Frequently revised typos are perceived as errors that need to be corrected, so using these typos on autocorrect lists is justified. The same goes for style, grammar and usage errors. Method . Experiments involved three steps: Clean the history dump (??wiki-latest-pages-meta-history.xml), to get only relevant parts of the dump. Using XML tools isn't recommended (I tried XSLT, forget it). Using a simple awk script, I was able to clean the > 30GB dump in an hour or so, and got a >17 GB file. The script is simp...

Na Nowy Rok przygotowaliśmy nową wersję LanguageTool. Oto kilka nowości: litewskie reguły interpunkcyjne, więcej polskich reguł ( lista wykrywanych błędów ), tłumaczenie na francuski i słoweński, usunięcie kilku istotnych błędów (niedostrzegalnych w wersji polskiej na komputerach z polskim systemem operacyjnym). Instalacja: W programie OpenOffice.org 2.x Kliknij polecenie Narzędzia > Menedżer pakietów > Dodaj , a następnie wybierz plik LanguageTool-0.8.7.zip (bez rozpakowywania). Po otwarciu nowego okna edytora OpenOffice.org Writer (naciśnij klawisze Ctrl+N) w menu pojawi się nowe menu LanguageTool , które zawiera polecenie Sprawdź tekst ... służące do sprawdzania tekstu. Bez programu OpenOffice.org Rozpakuj archiwum LanguageTool-0.8.7.zip i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.ja...

Po przygotowaniach przeprowadziłem kilka eksperymentów. I tak okazało się, że poprzedni algorytm był po prostu błędny – generował miliony plików w jednym katalogu. Zamiast tego najpierw „oczyszczam” tekst wiki ze znaczników (na razie nadal są różne brudy), dzieląc go na poszczególne wyrazy i zapisuję do specjalnego pliku pośredniego ze znacznikami startu i końca poszczególnej poprawki. Zajął on około 20 GB. Następnie porównuję kolejne wersje artykułu standardowym poleceniem diff (w trzecim skrypcie). W efekcie powstaje korpus w dosyć standardowym formacie ujednoliconym (jak dla polecenia patch czy CVS). Nadal powstaje, więc nie wiem, jak będzie wielki, ale raczej będzie mniejszy, może kilkaset megabajtów? Z tego korpusu można wydobywać różne rodzaje zmian – na razie ignoruję w eksperymentach komentarze, ale może będzie warto to też uwzględnić. Udaje mi się wyczytać różne rodzaje poprawek literówek czy błędów ortograficznych (sie → się): na razie badam pojedyncze wyrazy, ale może będ...