Morfologik

Dzisiaj wydaliśmy nową wersję LanguageTool 2.5 . W języku polskim sporo zmian, co widać na odpowiedniej stronie podsumowującej . Krótko mówiąc: wykrywa więcej błędów, jest mniej fałszywych alarmów. Sporo zmian także w części angielskiej i ukraińskiej, stabilnie rozwija się też obsługa katalońskiego i rosyjskiego. Użytkownicy Libre/OpenOffice mogą po prostu zaktualizować rozszerzenie: Narzędzia > Menedżer rozszerzeń > Sprawdź aktualizacje .

25 marca wydaliśmy nową wersję korektora LanguageTool. Zmiany są zasadniczo kosmetyczne, w języku polskim reguły nie uległy zmianie (tu można zobaczyć aktualizacje reguł ). Instalacja W programie OpenOffice.org 3.0.1 lub nowszym, a także w LibreOffice Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-stable.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org i wszystkie wersje LibreOffice), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.6.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org / LibreOffice będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”. Bez programu OpenOffice.org / LibreOffice Rozpakuj archiwum LanguageTool-stable.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukro...

31 grudnia wydaliśmy nową wersję korektora LanguageTool. Zmiany: aktualizacje reguł dla kilku języków (przede wszystkim chińskiego, francuskiego i bretońskiego); zmiana nazw pakietów z de.danielnaber.languagetool.* na org.languagetool.*; drobne inne poprawki. Instalacja W programie OpenOffice.org 3.0.1 lub nowszym, a także w LibreOffice Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.6.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org i wszystkie wersje LibreOffice), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.6.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org / LibreOffice będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”. Bez programu OpenOffice.org / LibreOffice Rozpakuj archiwum LanguageTool-1.6.oxt (jes...

25 września wydaliśmy nową wersję korektora LanguageTool. Zmiany: cztery nowe języki: chiński, asturyjski, tagalski, bretoński; aktualizacje reguł dla wielu języków (dla polszczyzny kosmetyczne); automatyczne wykrywanie języka (nie dotyczy OpenOffice.org/LibreOffice); wiele zmian związanych z Google Summer of Code; usunięte usterki. Instalacja W programie OpenOffice.org 3.0.1 lub nowszym Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.4.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.4.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”. Bez programu OpenOffice.org Rozpakuj archiwum LanguageTool-1.5.oxt (jest to pl...

Wydaliśmy nową wersję korektora LanguageTool. Zmiany: aktualizacje reguł angielskich, francuskich, niemieckich, rosyjskich i esperanto; obsługa języka khmerskiego; uproszczenia budowy wewnętrznej programu. Instalacja W programie OpenOffice.org 3.0.1 lub nowszym Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.4.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.4.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”. Bez programu OpenOffice.org Rozpakuj archiwum LanguageTool-1.4.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skoj...

Wydaliśmy dziś kolejną wersję biblioteki morfologik-stemming, 1.5.2. Wielką nowością jest włączenie drugiego słownika morfosyntaktycznego języka polskiego – mianowicie dostępnego poprzednio tylko w analizatorze Morfeusz Słownika Gramatycznego Języka Polskiego (SGJP). Dzięki temu, że w ramach projektu CESAR SGJP został uwolniony na licencji BSD, mogliśmy go teraz dołączyć w naszym analizatorze. W projekcie CESAR zamierzamy zresztą dokonać połączenia obu słowników: prace koncepcyjne za nami, trwają teraz roboty nad oprogramowaniem, które to umożliwi. Poza tym projekt morfologik-stemming podzielono na wiele mniejszych modułów, co powinno ułatwić pracę. Wydanie dostępne jest na sf.net i w Maven Central.

Ponieważ popełniłem mały błąd przy poprawianiu małego błędu w obsłudze reguły wykrywającej niesparowane nawiasy, musieliśmy wydać kolejną wersję LT - 1.3.1 . Teraz już wszystko gra :)

W niedzielę wydaliśmy nową wersję korektora LanguageTool, 1.3. Główne zmiany: aktualizacje i poprawki reguł w języku hiszpańskim, francuskim, polskim, niderlandzkim, rosyjskim, angielskim i esperanto; istotne zmniejszenie liczby fałszywych alarmów dla hiszpańskiego; poprawki wielu drobnych błędów. Jeśli chodzi o język polski, najważniejszą nową regułą jest reguła, która wykrywa zbędny przecinek po wyrażeniach przyimkowych na początku zdania. Reguła jest eksperymentalna i może być nadwrażliwa w wypadku przecinków oddzielających współrzędne człony wypowiedzi (powtórzone rzeczowniki lub przymiotniki), lecz są to przypadki mimo wszystko dosyć odosobnione. Postanowiłem ją opublikować, bo ten błąd jest coraz częstszy: to ewidentny wpływ interpunkcji angielskiej.

Przeprowadziłem kilka testów wewnętrznej spójności danych i okazało się, że udało się automatycznie poprawić oznaczenie około 12 tysięcy rzeczowników rodzaju męskiego osobowego (m1). Panie i Panowie, oto Morfologik 1.8.1 .

Dzisiaj w ramach porządków wydałem kolejną wersję Morfologika (1.8) . Zmiany: usunąłem zbędny znacznik ign , a w zamian wprowadziłem interj (oznaczający wykrzyknienia), brev (skróty - z kropkami lub bez, co odpowiada atrybutom pun i npun , za tagsetem NKJP), xxx - wyrazy obcojęzyczne. Usunąłem też dublujące się wpisy przymiotników, które były oznaczone raz po prostu jako przymiotniki w stopniu równym, a raz jako takie same przymiotniki, ale niezanegowane. Poprawiłem, dzięki Łukaszowi Szałkiewiczowi, oznaczenie wołacza przymiotników rodzaju męskiego w liczbie pojedynczej (przez omyłkę nie było rodzaju m3 ). Obecnie są już wszystkie (opisane skrótowo jako po prostu m, zamiast m1.m2.m3 ). Prócz tego usunąłem dwa wyrazy ( ka i in ), które de facto są końcówkami odmienianych skrótowców i nie występują samodzielnie. Poprawiłem też oznaczenie biernika rzeczowników rodzaju m1 .

Dziś udostępniliśmy nową wersję biblioteki morfologik-stemming. Najważniejsze zmiany: Nowy format binarny, CFSA2, który pozwala zmniejszyć objętość automatów wynikowych. W wypadku polskiego słownika redukcja z 2.811.345 do 1.806.661 bajtów. Aktualizacja słownika w dystrybucji do Morfologika 1.7. Opcja serializacji słownika bezpośrednio do formatów CFSA2 lub fsa w narzędziu fsa_build. CFSA jest obecnie już formatem niezalecanym (ale nadal obsługiwanym). Przyspieszenie konstrukcji automatu o 30%, mniejsze wykorzystanie pamięci. Możliwość budowania automatów z danych posortowanych (opcja --sorted). Domyślne sortowanie zgodne jest z "LC_ALL=C", tak jak w fsa (i narzędziach uniksowych), co ułatwia zastosowanie zewnętrznego sortowania. Dodane procedury wyliczania doskonałej funkcji mieszającej (jak w fsa z opcją NUMBERS). Zmiana uporządkowania serializowanych łuków automatu FSA5 na porządek leksykograficzny (tak jak na wejściu). Usunięto automaty znakowe. Zmiany w API (na razie nie...

Dziś opublikowaliśmy nowe wydanie biblioteki morfologik-stemming 1.4.1. Zmiany polegają głównie na drobnych porządkach, ujednoliceniu formatu binarnego automatów (słowników) z fsa_build, dołączeniu komunikatu o brakujących bibliotekach (w razie ich braku) oraz aktualizacji wbudowanego słownika. Już wkrótce - nowa wersja 1.5.0, gdzie zmiany są bardziej rewolucyjne.

Na rok 2011 mamy nową wersję korektora LanguageTool - 1.2. Z nowości: obsługa esperanto, bardzo liczne poprawki i usprawnienia reguł dla wielu języków, także polskiego, a także poprawki wielu drobnych usterek. W programie OpenOffice.org 3.0.1 lub nowszym Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.2.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.2.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyczne sprawdzanie tekstu. Jako test wpisz zdanie: „To zdanie zdanie jest z błędem”. Bez programu OpenOffice.org Rozpakuj archiwum LanguageTool-1.2.oxt (jest to plik w formacie .zip) i uruchom plik LanguageToolGui.jar, klikając go dwukrotnie. Jeśli na danym komputerze nie skonfigurowano skojarzeni...

Dziś udostępniłem wersję 1.7 słownika Morfologik. Zmiany są liczne, a to dzięki Adamowi Radziszewskiemu, który nakłonił mnie do sporych porządków w znacznikach, a i sam sporo z nich uporządkował automatycznie. Większe zmiany: nie ma już zbędnego znacznika indecl; wszystkie czasowniki są jednolicie oznaczone jako perf, imperf lub imperf.perf; rodzaj męski występuje już wyłącznie w trzech wariantach ( m1 , m2 , m3 ), choć nadal nie wszystkie wyrazy są prawidłowo oznaczone; udokumentowałem znacznik nstd , którym oznaczam formy niestandardowe odmian (chodzi o wyraz „domie”); znaczniki alternatywne są obecnie sortowane alfabetycznie (acc.dat.gen); drobne poprawki brakujących oznaczeń biernika dla rzeczowników rodzaju m1 .

Udostępniliśmy dziś nową wersję korektora LanguageTool - 1.1. Z nowości: obsługa nowych języków (m.in. białoruski i malayalam), bardzo liczne poprawki i usprawnienia reguł, a także możliwość sprawdzania tekstów dwujęzycznych (przydatne dla tłumaczy). Ta ostatnia opcja będzie przydatna raczej tylko dla osób zainteresowanych wykorzystaniem interfejsu programowego LT (API) do połączenia z oprogramowaniem wspomagającym tłumaczenie. W wersji 1.1 polskich reguł jest więcej (1022) i są bardziej ogólne. W programie OpenOffice.org 3.0.1 lub nowszym Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.0.0.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj, a następnie wybierz plik LanguageTool-1.0.0.oxt. Zamknij pakiet (łącznie z modułem szybkiego uruchamiania). Po ponownym otwarciu OpenOffice.org będzie możliwe automatyc...

Dziś wydaliśmy nową wersję biblioteki morfologik-stemming. Największą zmianą jest możliwość tworzenia automatów FSA bezpośrednio w Javie. Służy do tego narzędzie wiersza poleceń fsa_build. Aby tworzyć słowniki do lematyzacji można też wykorzystać narzędzie tab2morph, które implementuje funkcje skryptów morph_data z pakietu FSA, ale zawsze poprawnie obsługuje kodowanie UTF-8, z którym skrypty w Perlu i AWK nie zawsze dobrze sobie radziły. Zmiany w API widoczne są w dokumentacji . Jednocześnie zmieniliśmy słownik zamieszczony w pakiecie na najnowszy. Dzięki temu cały pakiet ma też inne licencje: kod ma BSD, a słownik LGPL lub Creative Commons ShareAlike.

Dzisiaj wydałem nową wersję (1.6) leksykonu morfosyntaktycznego Morfologik. Zmiany są niewielkie - głównie poprawki zauważonych błędów, takich jak niewłaściwe znaczniki, bzdurne formy (np. usunąłem wyraz "ca", który był połową wyrazu "z-ca") czy literówki. Usunąłem też zbędny znacznik "indecl", teraz stosowany jest wszędzie "qub". Mówiąc krótko, są tu głównie drobne poprawki różnych błędów. Większą zmianą jest podwójne licencjonowanie: słownik może być wykorzystywany na licencji LGPL v3, tak jak wcześniej, albo Creative Commons ShareAlike.

Wydaliśmy dziś nową wersję biblioteki morfologik-stemming. Zawiera ona trochę usprawnień związanych z wydajnością, w tym m.in. możliwość innego binarnego przekodowania automatu fsa ( CFSA ), umożliwiającą uzyskanie mniej więcej 10% mniejszego pliku, który jest obsługiwany szybciej. API wysokiego poziomu nie uległo zmianie.

Dziś ukazała się najnowsza wersja korektora LanguageTool z okrągłym numerem 1.0.0! Podstawowe zmiany: obsługa języka duńskiego, katalońskiego i galisyjskiego; nowe reguły i poprawki w słownikach dla języka duńskiego, francuskiego, włoskiego, polskiego, hiszpańskiego, szwedzkiego i rosyjskiego; język polski ma ponad 1000 reguł; poprawione różnego rodzaju usterki. Uwaga. Ta wersja działa wyłącznie w OpenOffice.org w wersji 3.0.1 lub nowszej! Przed instalacją programu OpenOffice.org 3.0.1 należy usunąć wszystkie wcześniejsze wersje LanguageTool zainstalowane w OpenOffice.org. Instalacja: W programie OpenOffice.org 3.0.1 lub nowszym Metoda prosta Dwukrotnie kliknij pobrany plik LanguageTool-1.0.0.oxt. Jeśli w systemie jest zarejestrowane rozszerzenie .oxt (robią to aktualne wersje OpenOffice.org), nastąpi uruchomienie instalatora. Metoda tradycyjna Kliknij polecenie Narzędzia > Menedżer rozszerzeń > Dodaj , a następnie wybierz plik LanguageTool-1.0.0.oxt . Zamknij pak...

Ponieważ poprzednia licencja była wersją BSD z klauzulą na temat patentów, która nie miała prawnego sensu, wróciliśmy do czystej licencji BSD. Większych poza tym zmian nie ma. Pliki – jak zwykle – na stronie projektu .