Morfologik

LanguageTool 1.6

2012-01-03T10:35:00.002+01:00

31 grudnia wydaliśmy nową wersję korektora LanguageTool. Zmiany:

aktualizacje reguł dla kilku języków (przede wszystkim chińskiego, francuskiego i bretońskiego);
zmiana nazw pakietów z de.danielnaber.languagetool.* na org.languagetool.*;
drobne inne poprawki.

Instalacja

W programie OpenOffice.org 3.0.1 lub nowszym, a także w LibreOffice

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-1.6.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org i wszystkie wersje LibreOffice), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.6.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org / LibreOffice będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org / LibreOffice
Rozpakuj archiwum LanguageTool-1.6.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.6. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

PoliMorf — otwarty słownik morfologiczny

2011-12-01T12:53:00.003+01:00

W poniedziałek, 5 grudnia w IPI PAN w ramach seminarium Przetwarzanie języka naturalnego wygłoszony zostanie referat „PoliMorf — otwarty słownik morfologiczny”, którego autorami są

Marcin Woliński, Marcin Miłkowski, Maciej Ogrodniczuk, Adam Przepiórkowski, Łukasz Szałkiewicz i Jan Szejko (wszyscy afiliowani w IPI PAN).

STRESZCZENIE:

Tematem referatu będzie słownik morfologiczny do zastosowań inżynierii lingwistycznej tworzony w ramach projektu Cesar. Celem tego projektu jest zebranie i uprzystępnienie rozmaitych zasobów dotyczących języków Europy Centralnej i Wschodniej. Działając w tym duchu podjęliśmy (za zgodą i przy udziale autorów) próbę połączenia zbioru form „Słownika gramatycznego języka polskiego” i projektu Morfologik. Pokażemy pierwszą wersję połączonego słownika, opowiemy o procesie łączenia i związanych z nim trudnościach. Chcielibyśmy także sprowokować słuchaczy do zgłaszania oczekiwań co do zawartości i sposobu podania tworzonego zasobu. Mamy bowiem nadzieję, że PoliMorf stanie się standardowym źródłem danych fleksyjnych dla projektów z dziedziny NLP.

Tu dostępna jest prezentacja w formacie PDF.

LanguageTool 1.5

2011-09-27T19:35:00.002+02:00

25 września wydaliśmy nową wersję korektora LanguageTool. Zmiany:

cztery nowe języki: chiński, asturyjski, tagalski, bretoński;
aktualizacje reguł dla wielu języków (dla polszczyzny kosmetyczne);
automatyczne wykrywanie języka (nie dotyczy OpenOffice.org/LibreOffice);
wiele zmian związanych z Google Summer of Code;
usunięte usterki.

Instalacja

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-1.4.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.4.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org
Rozpakuj archiwum LanguageTool-1.5.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.6. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

LanguageTool 1.4

2011-06-28T11:15:00.002+02:00

Wydaliśmy nową wersję korektora LanguageTool. Zmiany:

aktualizacje reguł angielskich, francuskich, niemieckich, rosyjskich i esperanto;
obsługa języka khmerskiego;
uproszczenia budowy wewnętrznej programu.

Instalacja

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.4.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org
Rozpakuj archiwum LanguageTool-1.4.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.6. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

Morfologik-stemming 1.5.2

2011-06-21T15:25:00.002+02:00

Wydaliśmy dziś kolejną wersję biblioteki morfologik-stemming, 1.5.2. Wielką nowością jest włączenie drugiego słownika morfosyntaktycznego języka polskiego – mianowicie dostępnego poprzednio tylko w analizatorze Morfeusz Słownika Gramatycznego Języka Polskiego (SGJP). Dzięki temu, że w ramach projektu CESAR SGJP został uwolniony na licencji BSD, mogliśmy go teraz dołączyć w naszym analizatorze.

W projekcie CESAR zamierzamy zresztą dokonać połączenia obu słowników: prace koncepcyjne za nami, trwają teraz roboty nad oprogramowaniem, które to umożliwi.

Poza tym projekt morfologik-stemming podzielono na wiele mniejszych modułów, co powinno ułatwić pracę. Wydanie dostępne jest na sf.net i w Maven Central.

Translation Quality Checking in LanguageTool

2011-04-16T11:59:00.003+02:00

During PALC 2011, I had a talk on new features of LanguageTool that enable quality checks for translated texts (in bilingual formats). You can view it by clicking the link.

LanguageTool 1.3.1

2011-04-01T19:24:00.002+02:00

Ponieważ popełniłem mały błąd przy poprawianiu małego błędu w obsłudze reguły wykrywającej niesparowane nawiasy, musieliśmy wydać kolejną wersję LT - 1.3.1. Teraz już wszystko gra :)

LanguageTool 1.3

2011-03-28T10:27:00.002+02:00

W niedzielę wydaliśmy nową wersję korektora LanguageTool, 1.3. Główne zmiany:

aktualizacje i poprawki reguł w języku hiszpańskim, francuskim, polskim, niderlandzkim, rosyjskim, angielskim i esperanto;
istotne zmniejszenie liczby fałszywych alarmów dla hiszpańskiego;
poprawki wielu drobnych błędów.

Jeśli chodzi o język polski, najważniejszą nową regułą jest reguła, która wykrywa zbędny przecinek po wyrażeniach przyimkowych na początku zdania. Reguła jest eksperymentalna i może być nadwrażliwa w wypadku przecinków oddzielających współrzędne człony wypowiedzi (powtórzone rzeczowniki lub przymiotniki), lecz są to przypadki mimo wszystko dosyć odosobnione. Postanowiłem ją opublikować, bo ten błąd jest coraz częstszy: to ewidentny wpływ interpunkcji angielskiej.

LanguageTool w Google Summer of Code

2011-03-19T14:45:00.002+01:00

LanguageTool bierze udział w programie Google Summer of Code. Studenci mogą więc proponować własne projekty - zachęcamy do lektury listy pomysłów.

Oops, I did it again: 1.8.1

2011-02-16T17:21:00.003+01:00

Przeprowadziłem kilka testów wewnętrznej spójności danych i okazało się, że udało się automatycznie poprawić oznaczenie około 12 tysięcy rzeczowników rodzaju męskiego osobowego (m1). Panie i Panowie, oto Morfologik 1.8.1.

Morfologik 1.8

2011-02-13T13:22:00.004+01:00

Dzisiaj w ramach porządków wydałem kolejną wersję Morfologika (1.8). Zmiany: usunąłem zbędny znacznik ign, a w zamian wprowadziłem interj (oznaczający wykrzyknienia), brev (skróty - z kropkami lub bez, co odpowiada atrybutom pun i npun, za tagsetem NKJP), xxx - wyrazy obcojęzyczne. Usunąłem też dublujące się wpisy przymiotników, które były oznaczone raz po prostu jako przymiotniki w stopniu równym, a raz jako takie same przymiotniki, ale niezanegowane. Poprawiłem, dzięki Łukaszowi Szałkiewiczowi, oznaczenie wołacza przymiotników rodzaju męskiego w liczbie pojedynczej (przez omyłkę nie było rodzaju m3). Obecnie są już wszystkie (opisane skrótowo jako po prostu m, zamiast m1.m2.m3). Prócz tego usunąłem dwa wyrazy (ka i in), które de facto są końcówkami odmienianych skrótowców i nie występują samodzielnie. Poprawiłem też oznaczenie biernika rzeczowników rodzaju m1.

Smyrna - prosty konkordancer

2011-02-11T16:35:00.002+01:00

Daniel Janus stworzył prosty konkordancer - Smyrnę - do obsługi niewielkich korpusów. Smyrna korzysta z Morfologika (i biblioteki morfologik-stemming).

morfologik-stemming w Mavenie

2011-02-11T16:29:00.003+01:00

Wiele razy byliśmy o to proszeni – i stało się. Od wersji 1.5.0 biblioteka morfologik-stemming będzie obsługiwana bezpośrednio w Mavenie i jest w jego repozytorium.

API biblioteki morfologik-stemming

2011-02-07T19:42:00.003+01:00

Z powodu ataku włamywaczy na sourceforge.net nie mogłem wcześniej uzupełnić informacji o nowym API biblioteki morfologik-stemming. Dostępne są obecnie informacje dla wersji 1.5.0, 1.4.1 i 1.4.0. Sprawa jest o tyle istotna, że między wersjami 1.5.0 a 1.4.1 są pewne różnice.

Morfologik w tagsecie KIPI

2011-01-27T16:48:00.003+01:00

Adam Radziszewski i Marek Maziarz skonwertowali Morfologika 1.7 do formatu KIPI w ramach projektu MACA. Dzięki temu Morfologik może być integrowany z innymi danymi morfologicznymi (w tym z zebranymi z korpusów).

Sam Morfologik też będzie niedługo podlegał dużym zmianom i poprawkom w ramach projektu CESAR. Przede wszystkim idzie o to, aby poprawić jego jakość i ułatwić potem pielęgnację jego zasobów.

morfologik-stemming 1.5.0

2011-01-26T21:45:00.002+01:00

Dziś udostępniliśmy nową wersję biblioteki morfologik-stemming. Najważniejsze zmiany:

Nowy format binarny, CFSA2, który pozwala zmniejszyć objętość automatów wynikowych. W wypadku polskiego słownika redukcja z 2.811.345 do 1.806.661 bajtów.
Aktualizacja słownika w dystrybucji do Morfologika 1.7.
Opcja serializacji słownika bezpośrednio do formatów CFSA2 lub fsa w narzędziu fsa_build.
CFSA jest obecnie już formatem niezalecanym (ale nadal obsługiwanym).
Przyspieszenie konstrukcji automatu o 30%, mniejsze wykorzystanie pamięci.
Możliwość budowania automatów z danych posortowanych (opcja --sorted).
Domyślne sortowanie zgodne jest z "LC_ALL=C", tak jak w fsa (i narzędziach uniksowych), co ułatwia zastosowanie zewnętrznego sortowania.
Dodane procedury wyliczania doskonałej funkcji mieszającej (jak w fsa z opcją NUMBERS).
Zmiana uporządkowania serializowanych łuków automatu FSA5 na porządek leksykograficzny (tak jak na wejściu).
Usunięto automaty znakowe.
Zmiany w API (na razie nie zamieszczam dokumentacji na stronie projektu z powodu awarii serwera sourceforge.net).
Drobne poprawki, testy modułów.

morfologik-stemming 1.4.1

2011-01-10T21:32:00.003+01:00

Dziś opublikowaliśmy nowe wydanie biblioteki morfologik-stemming 1.4.1. Zmiany polegają głównie na drobnych porządkach, ujednoliceniu formatu binarnego automatów (słowników) z fsa_build, dołączeniu komunikatu o brakujących bibliotekach (w razie ich braku) oraz aktualizacji wbudowanego słownika.

Już wkrótce - nowa wersja 1.5.0, gdzie zmiany są bardziej rewolucyjne.

LanguageTool 1.2 na nowy rok!

2011-01-04T18:55:00.005+01:00

Na rok 2011 mamy nową wersję korektora LanguageTool - 1.2. Z nowości: obsługa esperanto, bardzo liczne poprawki i usprawnienia reguł dla wielu języków, także polskiego, a także poprawki wielu drobnych usterek.

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-1.2.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.2.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org
Rozpakuj archiwum LanguageTool-1.2.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Zalecana jest Java 1.6.Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

Morfologik 1.7

2010-11-13T13:37:00.002+01:00

Dziś udostępniłem wersję 1.7 słownika Morfologik. Zmiany są liczne, a to dzięki Adamowi Radziszewskiemu, który nakłonił mnie do sporych porządków w znacznikach, a i sam sporo z nich uporządkował automatycznie.

Większe zmiany:

nie ma już zbędnego znacznika indecl;
wszystkie czasowniki są jednolicie oznaczone jako perf, imperf lub imperf.perf;
rodzaj męski występuje już wyłącznie w trzech wariantach (m1, m2, m3), choć nadal nie wszystkie wyrazy są prawidłowo oznaczone;
udokumentowałem znacznik nstd, którym oznaczam formy niestandardowe odmian (chodzi o wyraz „domie”);
znaczniki alternatywne są obecnie sortowane alfabetycznie (acc.dat.gen);
drobne poprawki brakujących oznaczeń biernika dla rzeczowników rodzaju m1.

LanguageTool 1.1

2010-09-26T21:02:00.002+02:00

Udostępniliśmy dziś nową wersję korektora LanguageTool - 1.1. Z nowości: obsługa nowych języków (m.in. białoruski i malayalam), bardzo liczne poprawki i usprawnienia reguł, a także możliwość sprawdzania tekstów dwujęzycznych (przydatne dla tłumaczy). Ta ostatnia opcja będzie przydatna raczej tylko dla osób zainteresowanych wykorzystaniem interfejsu programowego LT (API) do połączenia z oprogramowaniem wspomagającym tłumaczenie. W wersji 1.1 polskich reguł jest więcej (1022) i są bardziej ogólne.

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-1.0.0.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.0.0.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org
Rozpakuj archiwum LanguageTool-1.0.0.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Zalecana jest Java 1.6.Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

Informujemy, iż przecinki stawia się mniej fantazyjnie

2010-05-22T22:26:00.002+02:00

Paper on developing LanguageTool available

2010-05-04T17:45:00.003+02:00

My paper on developing LanguageTool, focused mostly on new features needed to support many different languages in LT, has just been published in Software - Practice and Experience (if you have no access to SPE, here is the final uncorrected draft). The paper contains a section with empirical results - I tested LanguageTool on Polish, and compared the results with Microsoft Word grammar checker (the only one that exists for Polish beside LanguageTool). The results are pretty good - whereas LanguageTool rules seem to create few false alarms (the precision level is around 90% for most test samples), MS Word tends to have a lot of them (the precision level is in best cases around 50%, and in many cases even lower).

Sample text	MS Word matches	MS Word precision	LT matches	LT precision
Frequency Dictionary Corpus	4572	22,00%	8552	92,00%
Camera-ready book	586	1,00%	323	54,00%
Culinary forum	75	17,00%	186	90,00%
Catholic church notices	24	0,00%	140	87,00%
Left-wing political commentary	58	1,00%	242	97,00%
Right-wing political commentary	51	5,00%	274	93,00%
Left-wing professional politician blog	91	13,00%	238	90,00%
Right-wing professional politician blog	59	55,00%	98	94,00%
Stock-market analyst blog	43	4,00%	134	95,00%
Political blog	12	50,00%	67	98,00%
Popular personal blog 1	67	8,00%	127	88,00%
Popular personal blog 2	57	47,00%	124	98,00%

As promised in the paper, I am making my testing set freely available, as the results were evaluated manually only by myself. Now, the methodology was very simple: instead of trying to figure out the total number of errors in the text, I simply checked if rules created any problems, i.e., offered suggestions that would result in grammar errors. This way, I avoided the possible objection that I treated some corrections as useless just because I thought you might leave the text as is. Instead of arguing over such cases, I treat them as correct.

There are two testing samples: files from LanguageTool, in a text format (zipped), and from Microsoft Word (also zipped). Note: to see errors as marked by Microsoft Word, you actually need to have Microsoft Word 2000 or newer (some files are in docx format). I tested the files with Microsoft Word 2006. I excluded one file from the testing sample due to copyright restrictions; the text contained withing samples is from the Frequency Dictionary of Polish Corpus, or from web blogs.

The paper has a longer section that describes the syntax for XML rules (which is now slightly out of date, as I made unification a bit simpler to use, by using native XML constructs) and describes the architecture of the checker. People that want to become language maintainers might therefore find it interesting (I hope!).

Powered by morfologik-stemming...

2010-04-16T17:34:00.009+02:00

Biblioteka morfologik-stemming wykorzystywana jest m.in. w następujących projektach:

morfologik-stemming 1.4.0

2010-04-16T17:34:00.007+02:00

Dziś wydaliśmy nową wersję biblioteki morfologik-stemming. Największą zmianą jest możliwość tworzenia automatów FSA bezpośrednio w Javie. Służy do tego narzędzie wiersza poleceń fsa_build. Aby tworzyć słowniki do lematyzacji można też wykorzystać narzędzie tab2morph, które implementuje funkcje skryptów morph_data z pakietu FSA, ale zawsze poprawnie obsługuje kodowanie UTF-8, z którym skrypty w Perlu i AWK nie zawsze dobrze sobie radziły. Zmiany w API widoczne są w dokumentacji.

Jednocześnie zmieniliśmy słownik zamieszczony w pakiecie na najnowszy. Dzięki temu cały pakiet ma też inne licencje: kod ma BSD, a słownik LGPL lub Creative Commons ShareAlike.

Morfologik 1.6

2010-04-14T02:59:00.004+02:00

Dzisiaj wydałem nową wersję (1.6) leksykonu morfosyntaktycznego Morfologik. Zmiany są niewielkie - głównie poprawki zauważonych błędów, takich jak niewłaściwe znaczniki, bzdurne formy (np. usunąłem wyraz "ca", który był połową wyrazu "z-ca") czy literówki. Usunąłem też zbędny znacznik "indecl", teraz stosowany jest wszędzie "qub". Mówiąc krótko, są tu głównie drobne poprawki różnych błędów.

Większą zmianą jest podwójne licencjonowanie: słownik może być wykorzystywany na licencji LGPL v3, tak jak wcześniej, albo Creative Commons ShareAlike.

W kuchni nie wolno wulgarnie

2010-03-30T13:06:00.002+02:00

Ślimaki, ach ślimaki

2010-03-25T22:07:00.005+01:00

W supermarketach czasem odkrywają nowe krainy. Oto francuska sieć sklepów wielkopowierzchniowych ujawnia istnienie Burguncji:

Smacznego. Ja pozostanę przy wierze w istnienie Burgundii. I nie potrafię się przekonać, że ślimaki są rybami.

LanguageTool i OmegaT

2010-03-25T16:55:00.005+01:00

Narzędzie wspomagające pracę tłumaczy OmegaT (w wersji beta 2.1.4) właśnie uzyskało możliwość korzystania z LanguageTool jako dodatkowego modułu. Efekty widać od razu:

Testy segmentacji

2010-03-12T16:27:00.006+01:00

Do niedawna nie było dla polszczyzny korpusu, w którym ręcznie zweryfikowano by podział na zdania (a przynajmniej ja nic o dostępności takiego zasobu nie wiedziałem). Całe szczęście, trwają prace nad Narodowym Korpusem Języka Polskiego – i obejmują one także ręczne oznaczenie tekstu, w tym podział go na zdania. Uzyskałem do testów próbkę obecnie opracowywanego tekstu, aby móc przetestować swoje reguły.
Okazało się, że stosujemy nieco inne konwencje – np. ja uznawałem, że liczby porządkowe na początku zdań są osobnym elementem, a nie fragmentem zdania (w OpenOffice.org takie liczby generowane automatycznie nie są w ogóle widoczne dla LanguageTool). Ale po ujednoliceniu takich konwencji przystąpiłem do testów. Wykryłem trochę usterek w regułach SRX, usunąłem je i wyniki są obecnie następujące.
W próbce było 42426 znaczników podziału (dalej oznaczone jako Z). Dokładność (precision) podziału wyniosła 0,993234. Kompletność (recall) 0,998353. Poprawność (accuracy) 0,991609. (Wszystkie te parametry liczyłem jako ilorazy, odpowiednio Z oraz sumy Z i podziałów dodanych przez SRX; Z oraz sumy Z i podziałów brakujących w pliku posegmentowanym przez SRX; wreszcie Z oraz sumy Z i podziałów dodanych przez SRX i brakujących w SRX).
Nie da się dojść, rzecz jasna, mechanicznymi środkami typu reguły SRX, do poziomu 1, bo niektóre podziały zależą od analizy znaczeniowo-logicznej zdania. Ale jest całkiem już nieźle! :)

AKTUALIZACJA: przy właściwym ustawieniu segmentacji na końcach wierszy udało się uzyskać kompletność równą 1 (to trochę artefakt wynikający z przetwarzania danych wejściowych) i dokładność 0,996933.

AKTUALIZACJA 2: po zamianie końców wierszy na spacje, udało się uzyskać bardziej wiarygodny wynik, mianowicie kompletność wynosi 0,994935, a dokładność – 0,997027. Przy zamianie 50% końców wierszy na spacje i usunięciu 50% wierszy kompletność spadła do

0,949978, a dokładność do 0,997426. Przy usunięciu wszystkich spacji wyniki były odpowiednio 0,909843 (kompletność) i 0,997695 (dokładność). Ponieważ w tekstach brak spacji lub końca wiersza po kropce przed kolejnym zdaniem jest zjawiskiem sporadycznym (lecz jego częstość w języku jest trudna do oszacowania ze względu na to, że w przetworzonych korpusach występują już całe zdania), w wypadku innych tekstów kompletność powinna być bliższa wartości z przedziału od 0,994935 a 0,949978, co jest całkiem niezłym wynikiem.

morfologik-stemming 1.3.0

2010-03-02T13:48:00.003+01:00

Wydaliśmy dziś nową wersję biblioteki morfologik-stemming. Zawiera ona trochę usprawnień związanych z wydajnością, w tym m.in. możliwość innego binarnego przekodowania automatu fsa (CFSA), umożliwiającą uzyskanie mniej więcej 10% mniejszego pliku, który jest obsługiwany szybciej.
API wysokiego poziomu nie uległo zmianie.

Talking about SRX in LT during LTC

2009-11-13T13:32:00.003+01:00

Jarek Lipski and me had a talk on using the SRX segmentation standard for LanguageTool during LTC 2009. We were asked a couple of times where the file is available, so I'm putting the link to our free SRX file here - it's a current version from our CVS, and at the time of writing it supports Polish, English, Dutch, Romanian, Russian, Icelandic, Slovak and Slovenian. It's on LGPL, so you can freely reuse it. There are also some SRX segmentation hints on our LanguageTool wiki. Especially important is the fact that there is a free (as speech) editor, Ratel, which helps to write the rules (and testing them).

The draft version of the paper is available online here. In case you want to cite it, here is the complete record:

Marcin Miłkowski, Jarosław Lipski, 2009. Using SRX standard for sentence segmentation in LanguageTool, in: Human Language Technologies as a Challenge for Computer Science and Linguistics, ed. by Zygmunt Vetulani, Poznań: Wydawnictwo Poznańskie, Fundacja Uniwersytetu im. A. Mickiewicza, p. 556-560.

LanguageTool 1.0.0

2009-11-01T21:27:00.004+01:00

Dziś ukazała się najnowsza wersja korektora LanguageTool z okrągłym numerem 1.0.0!

Podstawowe zmiany:

obsługa języka duńskiego, katalońskiego i galisyjskiego;
nowe reguły i poprawki w słownikach dla języka duńskiego, francuskiego, włoskiego, polskiego, hiszpańskiego, szwedzkiego i rosyjskiego;
język polski ma ponad 1000 reguł;
poprawione różnego rodzaju usterki.

Uwaga. Ta wersja działa wyłącznie w OpenOffice.org w wersji 3.0.1 lub nowszej! Przed instalacją programu OpenOffice.org 3.0.1 należy usunąć wszystkie wcześniejsze wersje LanguageTool zainstalowane w OpenOffice.org.

Instalacja:

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-1.0.0.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Rozpakuj archiwum LanguageTool-1.0.0.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Zalecana jest Java 1.6.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.
W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

morfologik-stemming 1.2.2

2009-09-23T19:08:00.003+02:00

Ponieważ poprzednia licencja była wersją BSD z klauzulą na temat patentów, która nie miała prawnego sensu, wróciliśmy do czystej licencji BSD. Większych poza tym zmian nie ma.

Pliki – jak zwykle – na stronie projektu.

LanguageTool w Firefoksie

2009-08-11T19:12:00.004+02:00

Od niedawna mamy dwie możliwości uruchomienia LanguageTool do sprawdzania tekstu bezpośrednio w naszej ulubionej przeglądarce.

Sposób pierwszy

Od dawna można uruchomić program bezpośrednio (mechanizm Java Web Start, proszę nie przejmować się komunikatem, że przeterminował się klucz szyfrujący, po prostu nie mam czasu na poklikanie na stronie Thawte). Potem chowamy LanguageTool do paska zadań (Plik > Schowaj do paska zadań) i z powrotem przeglądarce możemy redagować tekst. Kopiujemy napisany tekst do schowka i klikamy ikonę LanguageTool. Pojawi się powiększone okienko, od razu ze sprawdzonym tekstem. Niestety, poprawek nie można bezpośrednio wprowadzić.

Ale za to można zmienić konfigurację reguł.

Sposób drugi

A jeśli chcemy bezpośrednio stosować poprawki proponowane przez korektor? Jest na to sposób. Najpierw trzeba zainstalować Ubiquity, swoiste rozszerzenie do Firefoksa. Umożliwia ono obsługę przeglądarki z klawiatury: wystarczy kliknąć [Ctrl]+[Spacja], a pojawi się specjalne okno poleceń. Domyślnie są różne zapytania do wyszukiwarek itd. Siłą Ubiquity jest możliwość dodawania własnych poleceń.
Żeby mieć LanguageTool, wchodzimy na stronę LangBota, który w Ubiquity pozwala zainstalować magiczne polecenie gramatyka. Po zainstalowaniu tego wszystkiego procedura jest banalna: zaznaczamy tekst, [Ctrl]+[Spacja], „gramatyka”. LangBot automatycznie wykrywa język tekstu i sprawdza tekst z domyślnymi ustawieniami LanguageToola (nie można zmienić tych ustawień indywidualnie). W okienku pokażą się podkreślone na zielono błędy, które można poprawiać myszką (kliknięcie otwiera dodatkowe okienko). Niestety, z powodu pewnych niedociągnięć w Ubiquity nie działa jeszcze bezpośrednie redagowanie zaznaczonego tekstu. Ale za to poprawki są bezpośrednio wstawiane do tekstu (uwaga: gubi się formatowanie).

morfologik-stemming 1.2.1

2009-08-08T11:32:00.005+02:00

Wczoraj wydaliśmy nową wersję biblioteki morfologik-stemming (1.2). W nowej wersji zupełnie zmieniony został interfejs obsługi słowników fsa, oczywiście na wygodniejszy, a przy tym szybkość działania jest parokrotnie wyższa. Wszystkie zmiany opisuje oczywiście JavaDoc.

Pliki biblioteki do pobrania na stronie projektu. Biblioteka w tej wersji zostanie włączona do przygotowywanej wersji 1.0 korektora LanguageTool.

POPRAWKA. Ponieważ zapomnieliśmy o drobiazgu, co uniemożliwiało użycie prostego narzędzia do analizy składniowej z wiersza poleceń, szybko wydaliśmy poprawkę. Narzędzia można używać tak:


#java -jar morfologik-stemming-1.2.1.jar plstem [opcje]

Po wywołaniu bez opcji samo powie, jak się je obsługuje.

Słownik poprawnej polszczyzny w sieci

2009-08-02T19:44:00.004+02:00

Zupełnie znienacka i cichaczem Wydawnictwo Szkolne PWN wprowadziło do jednego ze swych serwisów („Prawo dla szkół”) dostęp do słownika poprawnej polszczyzny, słownika nazw własnych i słownika ortograficznego. Dla uważnych czytelników jest jasne, że są to publikacje WSzPWN, które kiedyś przejęło publikacje słownikowe wydawnictwa Park. Nie są to więc wielkie słowniki Wydawnictwa Naukowego PWN, ale i tak to jedyne tego rodzaju źródła w Internecie (oczywiście, nie mówię o słowniku ortograficznym, bo takich w sieci jest na pęczki, choć bodaj wszystkie są prostymi przedrukami wersji papierowych bez sensownego algorytmu generowania podpowiedzi – z wyjątkiem mojego słownika ortograficznego).

Nie jest dla mnie jasne, czy słowniki – w tym ten poprawnej polszczyzny – pozostaną w sieci na dłużej, czy też dostęp do niego zostanie zamknięty tak jak do całego serwisu „Prawo dla szkół”, 30 września. Na razie jednak można go używać.

Evaluating Grammar Checkers

2009-07-14T13:10:00.004+02:00

As a developer of LanguageTool, I would love to see clear guidelines for evaluating grammar checkers. Some discussions of flaws in grammar checkers - such as the influential analysis by Daniel Kies - rely on quite controversial principles and make assumptions that seem unwarranted at times.

Kies used analysis of a corpus of 3000 college essays in English to evaluate the checkers. Now, the analysis contained top 20 errors, ordered by frequency. Of course, frequency of the error seems to be an important factor but what about the severity of error? Let me explain. I really doubt that "No comma after introductory element" is the top error in college essays if they're written on a computer keyboard. The most common error is to have multiple whitespace or formatting with whitespace. Of course, this is not strictly a grammar error, but punctuation is also quite far from syntactic principles of the language, and multiple whitespace is also a punctuation problem. If they had manually written essays, then they don't have a chance to count whitespace errors as they don't seem to occur in handwriting. So a lot depends on the medium of the corpus: the space of possible errors is biased by the representation of the linguistic content. In a corpus of OCRed books you would expect more errors that are due to incorrect recognition of badly printed characters, for example.

Another problem is that "No comma after introductory element" is actually quite controversial. Modern writers don't seem to care about the comma, so using this rule as a baseline is not a reliable way to evaluate the checkers. For example, I don't want to implement this rule and make it turned on by default exactly for this reason: most people don't think a missing comma after an introductory element is actually a severe problem. If you want to evaluate grammar checkers, you'd better ignore such problems and focus on things which are uncontroversially severe, such as confusing "it's" and "its". Implementing a rule for detecting a phrase at a sentence start that is not a subject of the sentence is not exactly rocket science, but I don't think the rule is really so important. Also, if you see some error really often in a corpus, then it may mean that it's no longer an error but rather an emerging standard usage.

The second error on the list is "vague pronoun reference". This is actually much harder to implement. In computational linguistics, we still don’t have a good solution for anaphora resolution: a failure of anaphora resolution would mean that there is a vague pronoun reference. But as anaphora resolution is actually quite hard (especially for such languages as English, which is much harder than Slavonic or Romance languages with their richer morphology that contains gender information), developers may decide not to focus on it but implement things which are much easier. The question is whether you want your grammar checker to complain at Kant's prose (Kant notoriously used vague pronouns) or you want it to find simpler typos etc. If you think that computer-aided proofreading tools shouldn't deal with the deep structure of language and actually help edit the text, then you will not count this error as a good way to evaluate grammar checkers.

Another problem with the list used for evaluation is that it's based on college essays. College students don't tend to make mistakes typical for people that use English as their second language (I make different mistakes than native speakers, for example). As more people use English as their second language than there are native speakers of English, you would expect the evaluation to be based at least not only on native users' problems. It seems obvious that a Chinese or Polish student needs the computer tools to correct her English much more than a native speaker.

If you use a biased list of errors, you can get biased results. I think it would be interesting to see the evaluation of grammar checkers based on different corpora, as all specialized corpora are biased this way or another. But as long as you try to balance it, you might get better insight, both into the state of the field of grammar checking (or computer-aided proofreading) and into the errors as stable patterns of incorrect usage of language. So a more exhaustive analysis could reuse:

Language learners error corpora (especially ESL)
Corpora of texts marked by professional proofreaders
Automatically generated corpora from Wikipedia

Any ideas what to use as baseline measures for evaluation? What kinds of data would be needed?

It's also worth noting that it's much easier to evaluate grammar checkers in terms of their precision by counting false positives among all alarms raised by them. It is the recall, or the real number of true positives, that remains really hard to evaluate.

LanguageTool i cyzelowanie stylu

2009-06-14T22:18:00.003+02:00

Narzędzie korektorskie oczywiście nie napisze poematu trzynastozgłoskowcem, ale może się przydać przy mechanicznym poprawianiu tekstu. Nawet na poziomie stylistycznym. LanguageTool ma kilka takich reguł, ale są one domyślnie wyłączone, bo są nieco nadwrażliwe. W okienku Opcje można je znaleźć w kategorii „Błędy różne”. Do tej pory chodziło głównie o monotonię stylistyczną - czyli o regułę, która wykrywała powtarzanie się tego samego wyrazu w zdaniu. Szkolna stylistyka mówi, że trzeba tego unikać, ale oczywiście jest tutaj wiele wyjątków. Na przykład nikt nie zakaże kilkakrotnie użyć słówka „nie” do wyrażenia negacji. Albo użycia wyrażenia „oko za oko”... Nie wszystko to daje się łatwo mechanicznie ująć wyjątkami, więc czasem LanguageTool zbyt dużo podkreśla. Ale czasem udaje się znaleźć naprawdę dziwaczne powtórzenia podczas pisania tekstu.

Dziś dodałem kolejną taką zaawansowaną regułę: wykrywa ona rymujące się sąsiednie wyrazy (np. w tytule „Problemy organizacji administracji”). Czasem te rymy przeszłyby niezauważone (np. „sześćdziesięciu pięciu”), a czasem brzmią fatalnie („wartości ludzkości”). Kiedy jednak redaguję tekst, coś takiego może się przydać; komiczne niezamierzone rymy często działają na czytelnika niemal podprogowo i utrudniają odbiór tekstu. Dlatego też i ta reguła jest domyślnie wyłączona.

LanguageTool 0.9.9

2009-05-22T21:31:00.003+02:00

Dziś ukazała się nowa wersja korektora LanguageTool 0.9.9. Podstawowe zmiany:

usunięto problem z regułami obsługującymi akapity (powodował wyświetlanie okienka z NullPointerException);
obsługa języka islandzkiego;
więcej reguł angielskich, polskich, niderlandzkich i rumuńskich;
poprawki w regułach rosyjskich;
więcej fałszywych przyjaciół tłumacza w parze angielski-polski;
usunięto błędy w regułach parowania nawiasów i cudzysłowów;
wprowadzono segmentację zdaniową z wykorzystaniem formatu segmentacji SRX.

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.9.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.

Metoda tradycyjna

Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.9.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.9.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun. Zalecana jest Java 1.6.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter, jeśli pakiet OpenOffice.org jest starszy niż 3.1.
W systemie Ubuntu konieczna jest instalacja pakietu openoffice.org-java-common, gdyż OpenOffice jest domyślnie instalowany bez bibliotek obsługujących Javę.

LanguageTool 0.9.8

2009-04-26T13:35:00.003+02:00

Dziś ukazała się nowa wersja korektora LanguageTool 0.9.8. Podstawowe zmiany:

usunięcie denerwującego problemu występującego w komputerach z systemem MacOS;
zdecydowanie więcej reguł dla języka rumuńskiego (były 3, jest 160) i syntetyzator morfologiczny dla tegoż języka;
więcej reguł dla włoskiego (było 5, jest 77);
pierwsze reguły dla słowackiego;
poprawki w obsłudze języka angielskiego i polskiego;
więcej opcji w wypadku używania LanguageTool z poziomu wiersza poleceń;
poprawki wielu drobnych błędów.

W programie OpenOffice.org 3.0.1 lub nowszym

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.8.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.8.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.8.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5. Środowisko GIJ ma błędy uniemożliwiające użytkowanie LT; należy korzystać z Javy w wersji IcedTea lub firmy Sun.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter (błąd OpenOffice.org od wersji 2.3; będzie poprawiony w wersji 3.1).

Bootstrapping the rules for LanguageTool

2009-04-22T18:54:00.004+02:00

This post is related to many languages, so I'm posting in English.

Recently, during PALC 2009, I had a talk on unsupervised generation of rules for LanguageTool. The idea is when you have an error corpus (and you can create one based on Wikipedia revision history, by the way, here's a draft of my paper on creating the error corpus from Wikipedia), you can use transformation-based learning techniques to create rules that may be used to boostrap rule creation for new languages in LanguageTool.

Of course, what I have right now, are only quick hacks and script prototypes, but as you can see in my presentation, I'm planning to make the process a bit easier to use. First of all, the extraction of the error corpus from Wikipedia revision history can be fully ported to Java (I will add filters to remove synonym-for-synonym revisions but some of the most frequent changes are used to adapt the text to some editorial conventions, so they would have to be filtered manually). Currently, I'm using two packages for TBL machine-learning: muTBL and fnTBL (both free but not muTBL is not open-source). muTBL is in Prolog, and it has serious memory limitation - but it allows for iterative, incremental learning of rules on the stack. fnTBL is C++ and can process much larger corpora but crashes a lot, and its newest version (1.2) didn't work for me at all. Fortunately, there is a Java implementation of the TBL toolkit that works in GATE, and it's GPL, so it would allow to adapt it for our needs.

With these tools, it should be fairly easy to add some relevant rules for new languages even for people with limited linguistic competence. Yet, some of the rules require using morphosyntactic lexicons, which aren't so easy to create or find.

Of course, the use of TBL is not limited to bootstrapping new rules for new languages - TBL learning can enhance existing rules quite significantly, as I observed. The process is not very time-consuming even with dirty hacks, so I'm quite optimistic about the practical application.

So if anyone wants to help with porting my scripts to Java, just let me know - this way, we'll have the tool a bit faster :)

Łagodne wprowadzenie do redagowania reguł

2009-04-08T22:04:00.002+02:00

W ostatnią niedzielę, 5 kwietnia 2009, na Studenckim Forum Badań nad Językiem prowadziłem warsztaty dotyczące tworzenia reguł dla LanguageToola. Przy okazji parę powiedziałem parę słów o architekturze i przetwarzaniu powierzchniowym, bo LT to de facto nie tylko korektor, ale w ogóle system przetwarzania powierzchniowego języka naturalnego. Mam nadzieję, że moja prezentacja bez komentarza werbalnego też się komuś przyda.

morfologik-stemming 1.1.4

2009-03-18T20:52:00.003+01:00

Dziś wydaliśmy nową wersję biblioteki morfologik-stemming. Okazało się, że programu fsa można używać do kodowania słowników w UTF-8, choć autor przewidywał tylko kodowanie 8-bitowe. W bibliotece jednak nie do końca dobrze było to zrealizowane, więc poprawiliśmy parę usterek i jest już gotowe. Dzięki temu w LanguageTool będzie wkrótce bardziej bezpośrednia obsługa słownika języka rumuńskiego.

Oczywiście, użytkownicy LanguageTool nie mają nic do aktualizacji - to jest tylko jedna z bibliotek wykorzystywanych przez program.

LanguageTool 0.9.7

2009-03-05T01:38:00.004+01:00

Dziś ukazała się nowa wersja korektora LanguageTool 0.9.7. W tym wydaniu usunęliśmy kilka usterek, m.in. usterkę bardzo denerwującą dla niemieckich użytkowników i błędy w obsłudze menu kontekstowego dla języka francuskiego. Są też kosmetyczne poprawki reguł polskich, rosyjskich i holenderskich oraz obsługa nowego języka (na razie w postaci zalążkowej) – a mianowicie rumuńskiego.

W programie OpenOffice.org 3.0.1

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.7.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.7.oxt (bez rozpakowywania). Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.7.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter (błąd OpenOffice.org od wersji 2.3; będzie poprawiony dopiero w wersji 3.1).

morfologik-stemming 1.1.3

2009-03-05T01:34:00.002+01:00

Ponieważ okazało się, że w bibliotece morfologik-stemming był drobny błąd, który ujawniał się czasem przy użytkowania LanguageTool w OpenOffice.org, trzeba było go naprawić i udostępnić nową wersję biblioteki. Na stronie projektu można pobrać najnowszą dystrybucję.

LanguageTool 0.9.6

2009-01-22T00:09:00.004+01:00

Dziś ukazała się nowa wersja korektora LanguageTool 0.9.6. Najważniejsze zmiany:

nowe okno dialogowe do sprawdzania błędów - całkowita integracja z OpenOffice.org;
bardzo dużo poprawek błędów w regułach polskich, holenderskich i angielskich;
polskich reguł jest 900 (w postaci deklaracji w pliku) i kilka specjalnych napisanych w Javie;
usunąłem kilkanaście różnego rodzaju usterek i błędów w kodzie;
zwiększone możliwości dezambiguatora regułowego;
możliwość stosowania unifikacji atrybutów w regułach błędów i dezambiguacji.

Każdy lubi obrazki, a więc... Tak wygląda nowe okno dialogowe:

Jak widać, nie wszystko jeszcze jest do końca dopracowane (tłumaczenia polskie będą niestety dopiero w wersji 3.1), ale za to działa poprawnie.

Uwaga. Ta wersja działa wyłącznie w OpenOffice.org w wersji 3.0.1 lub nowszej! Przed instalacją programu OpenOffice.org 3.0.1 należy usunąć wszystkie wcześniejsze wersje LanguageTool zainstalowane w OpenOffice.org.

Instalacja:

W programie OpenOffice.org 3.0.1

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.6.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.6.oxt (bez rozpakowywania). Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.6.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter (błąd OpenOffice.org od wersji 2.3; będzie poprawiony dopiero w wersji 3.2).

Morfologik 1.5 na Nowy Rok

2008-12-31T05:18:00.003+01:00

Ponieważ przygotowuję nową wersję LanguageTool (0.9.6) – z wieloma nowymi ciekawymi możliwościami – postanowiłem poprawić trochę słownik, bo jest mi potrzebny do poprawnego działania funkcji unifikacji (uzgadniania) atrybutów. Poprawiłem głównie rzeczowniki – przede wszystkim rodzaju męskiego. Większość z nich, poza rzadkimi nazwami własnymi, jest już prawidłowo przyporządkowana do kategorii rodzaju m1, m2 lub m3 (męskoosobowe, męskożywotne i męskonieżywotne – ujmując ten podział tradycyjnymi kategoriami). Poprawiłem też trochę systematycznych błędów, dodałem trochę form nieregularnych (np. odmianę imienia Pablo).

A o wersji 0.9.6 i unifikacji jeszcze napiszę :)

LT 0.9.5 a OpenOffice 3.0.1

2008-12-23T17:57:00.002+01:00

Uwaga! Najnowsza wersja OpenOffice.org, 3.0.1 (dostępna obecnie w wersji testowej RC1), jest niezgodna z LanguageTool 0.9.5! Użytkownicy OpenOffice.org 3.0.0 przed zainstalowaniem nowej wersji OpenOffice powinni usunąć LanguageTool w Menedżerze Rozszerzeń. W przeciwnym razie po aktualizacji OpenOffice.org usunięcie niedziałającej wersji LT będzie niemożliwe bez pełnej deinstalacji OpenOffice.org i usunięcia jego wszystkich katalogów!

Wkrótce nowa wersja 0.9.6, która w pełni wykorzysta nowe możliwości OpenOffice.org :) Usunięto w niej też mnóstwo fałszywych alarmów i dodano sporo reguł.

Film: instalacja LT w OpenOffice.org

2008-12-13T19:09:00.005+01:00

Tomasz Smykowski stworzył film instruktażowy o instalacji korektora LanguageTool w OpenOffice.org. Co prawda, wspomina o wersji 0.9.4, ale wszystkie instrukcje poza tym są aktualne :) Aha, okienko dialogowe LanguageTool niedługo zniknie (w wersji OOo 3.0.1), a jego funkcje przejmie po prostu okno Pisownia i gramatyka pakietu, w którym nie będzie niektórych denerwujących błędów. Ale to kwestia przyszłych wersji.

Morfologik 1.4

2008-12-10T01:06:00.004+01:00

Wydałem dziś aktualizację słowników w projekcie Morfologik – okazało się, że sporo systematycznych błędów wkradło się do wersji 1.3, dlatego była pora na ich poprawienie (najzabawniejszą pomyłką było oznaczenie wyrazu „mężczyzna” jako mającego rodzaj żeński). Wykryłem je przy okazji implementowania mechanizmu unifikacji w programie LanguageTool.

Nowe słowniki wejdą do LanguageTool 0.9.6. Użytkownicy nie muszą nic aktualizować, ale programiści mogą sobie zajrzeć – zmienionych wyrazów jest sporo (plik diff ma kilka dobrych megabajtów).

LanguageTool 0.9.5

2008-11-06T00:39:00.001+01:00

Znaleźliśmy niedawno błąd w LanguageTool 0.9.4, który niekiedy powodował poważne problemy przy sprawdzaniu tekstów angielskich z dużą ilością nadmiarowych spacji i tabulatorów. Dlatego przygotowaliśmy wydanie 0.9.5.

poprawione i nowe reguły dla języka angielskiego i polskiego;
poprawiony błąd w dzieleniu zdań kończących się skrótami (w języku polskim);
poprawiona obsługa znaku przypisu na końcu zdania.

Instalacja:

W programie OpenOffice.org 3.0 (od wersji m26)

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.5.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.4.oxt (bez rozpakowywania). Zamknij pakiet (łącznie z modułem szybkiego uruchamiania).

Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.5.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).
Nazwa użytkownika w systemie Windows nie może zawierać polskich liter (błąd OpenOffice.org od wersji 2.3).

LanguageTool dostaje złotą nagrodę

2008-10-06T21:36:00.003+02:00

W czerwcu spieszyliśmy się bardzo, aby zdążyć na konkurs Community Innovation Program ogłoszony przez Sun Micrososystems, gdzie suma nagród miała wynieść milion dolarów. Zgłosiliśmy we dwóch z Danielem Naberem LanguageTool i dwie jego nowe funkcje: integrację z OpenOffice.org 3.0 (tj. podkreślanie na bieżąco błędów wykrytych przez LT) oraz witrynę Community do poprawiania i testowania reguł przez społeczność użytkowników. Pierwszą rzecz robiłem ja, drugą - Daniel.
I udało się :) Dostaliśmy złotą nagrodę.

LanguageTool 0.9.4

2008-10-02T10:14:00.003+02:00

Parę dni temu ukazała się najnowsza wersja LanguageTool, działająca wyłącznie w najnowszych wersjach OpenOffice.org 3.0 (zalecamy wersję co najmniej RC 3, w poprzednich występował poważny błąd w pakiecie).

Nowa wersja została wydana z powodu odnalezienia błędu, który mógł powodować zawieszenie pakietu OpenOffice.org. Obecnie używanie korektora LanguageTool nie grozi już ani zawieszeniem, ani awarią pakietu :)

nowe reguły dla języka rosyjskiego i szwedzkiego;
poprawiono drobne błędy.

Instalacja:

W programie OpenOffice.org 3.0 (od wersji m26)

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.4.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.4.oxt (bez rozpakowywania). Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.4.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).

Za chwilę dalszy ciąg programu

2008-09-23T23:20:00.002+02:00

Niestety, okazało się właśnie, że w OpenOffice.org 3.0 jest błąd, który ujawnia się w obecności najnowszej wersji LanguageTool i powoduje awarię programu. Wystarczy usunąć wiersz lub połączyć dwa wiersze, aby się to stało.

Z tego względu radzimy poczekać na kolejną wersję OOo 3.0. Poprawka jest już gotowa i wejdzie do ostatecznej wersji pakietu, która niebawem zostanie udostępniona. Za chwilę dalszy ciąg programu ;)

LanguageTool 0.9.3

2008-08-07T00:42:00.000+02:00

Dzisiaj ukazała się najnowsza wersja LanguageTool, działająca wyłącznie w najnowszych wersjach OpenOffice.org 3.0 (od kompilacji deweloperskiej m26, a więc nie we wcześniejszych wersjach beta!).

Nowością jest możliwość automatycznego sprawdzania błędów językowych w OpenOffice.org po zainstalowaniu korektora. Są one podkreślane na niebiesko.

około 100 nowych reguł dla języka polskiego (obecnie jest ich 819);
prawie 150 nowych reguł dla angielszczyzny (łącznie 383);
wprowadzono podstawy obsługi języka rosyjskiego i kilka reguł dla języka szwedzkiego;
poprawiono drobne błędy;

Instalacja:

W programie OpenOffice.org 3.0 (od wersji m26)

Metoda prosta
Dwukrotnie kliknij pobrany plik LanguageTool-0.9.3.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora.
Metoda tradycyjna
Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-0.9.3.oxt (bez rozpakowywania). Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”.

Bez programu OpenOffice.org

Rozpakuj archiwum LanguageTool-0.9.3.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzenia dla plików *.jar, uruchom program z wiersza poleceń za pomocą polecenia java -jar LanguageToolGUI.jar. Plik LanguageTool.jar jest natomiast korektorem działającym z poziomu wiersza poleceń.
Rozpakuj znajdujący się w archiwum plik standalone-libs.zip do tego samego katalogu, do którego rozpakowano pliki z archiwum.

W razie problemów

Należy upewnić się, czy w systemie zainstalowana jest Java w wersji co najmniej 1.5.
Ta wersja środowiska Java musi być widoczna dla OpenOffice.org (Narzędzia > Opcje > Java).

Reguły

Nowe reguły dla polszczyzny można obejrzeć tutaj.