Przejdź do głównej zawartości

Posty

Oops, I did it again: 1.8.1

Przeprowadziłem kilka testów wewnętrznej spójności danych i okazało się, że udało się automatycznie poprawić oznaczenie około 12 tysięcy rzeczowników rodzaju męskiego osobowego (m1). Panie i Panowie, oto Morfologik 1.8.1 .

Morfologik 1.8

Dzisiaj w ramach porządków wydałem kolejną wersję Morfologika (1.8) . Zmiany: usunąłem zbędny znacznik ign , a w zamian wprowadziłem interj (oznaczający wykrzyknienia), brev (skróty - z kropkami lub bez, co odpowiada atrybutom pun i npun , za tagsetem NKJP), xxx - wyrazy obcojęzyczne. Usunąłem też dublujące się wpisy przymiotników, które były oznaczone raz po prostu jako przymiotniki w stopniu równym, a raz jako takie same przymiotniki, ale niezanegowane. Poprawiłem, dzięki Łukaszowi Szałkiewiczowi, oznaczenie wołacza przymiotników rodzaju męskiego w liczbie pojedynczej (przez omyłkę nie było rodzaju m3 ). Obecnie są już wszystkie (opisane skrótowo jako po prostu m, zamiast m1.m2.m3 ). Prócz tego usunąłem dwa wyrazy ( ka i in ), które de facto są końcówkami odmienianych skrótowców i nie występują samodzielnie. Poprawiłem też oznaczenie biernika rzeczowników rodzaju m1 .

API biblioteki morfologik-stemming

Z powodu ataku włamywaczy na sourceforge.net nie mogłem wcześniej uzupełnić informacji o nowym API biblioteki morfologik-stemming. Dostępne są obecnie informacje dla wersji 1.5.0 , 1.4.1 i 1.4.0 . Sprawa jest o tyle istotna, że między wersjami 1.5.0 a 1.4.1 są pewne różnice.

Morfologik w tagsecie KIPI

Adam Radziszewski i Marek Maziarz skonwertowali Morfologika 1.7 do formatu KIPI w ramach projektu MACA . Dzięki temu Morfologik może być integrowany z innymi danymi morfologicznymi (w tym z zebranymi z korpusów). Sam Morfologik też będzie niedługo podlegał dużym zmianom i poprawkom w ramach projektu CESAR . Przede wszystkim idzie o to, aby poprawić jego jakość i ułatwić potem pielęgnację jego zasobów.

morfologik-stemming 1.5.0

Dziś udostępniliśmy nową wersję biblioteki morfologik-stemming. Najważniejsze zmiany: Nowy format binarny, CFSA2, który pozwala zmniejszyć objętość automatów wynikowych. W wypadku polskiego słownika redukcja z 2.811.345 do 1.806.661 bajtów. Aktualizacja słownika w dystrybucji do Morfologika 1.7. Opcja serializacji słownika bezpośrednio do formatów CFSA2 lub fsa w narzędziu fsa_build. CFSA jest obecnie już formatem niezalecanym (ale nadal obsługiwanym). Przyspieszenie konstrukcji automatu o 30%, mniejsze wykorzystanie pamięci. Możliwość budowania automatów z danych posortowanych (opcja --sorted). Domyślne sortowanie zgodne jest z "LC_ALL=C", tak jak w fsa (i narzędziach uniksowych), co ułatwia zastosowanie zewnętrznego sortowania. Dodane procedury wyliczania doskonałej funkcji mieszającej (jak w fsa z opcją NUMBERS). Zmiana uporządkowania serializowanych łuków automatu FSA5 na porządek leksykograficzny (tak jak na wejściu). Usunięto automaty znakowe. Zmiany w API (na razie nie...