WordSyn: работа с n-граммами

Только что закончил кусок кода, который будет получать синонимы для указанной пары слов. Эти синонимы будут формироваться на основе статистических данных о встречаемости слов в русскоязычной литературе. Для примера приведу результат поиска синонимов для двухсловника “толстый живот”. В таблице ниже представлены все пары синонимов для этого двухсловника. В скобках указывается количество раз, сколько данная пара встречалась во время обработки текстов, что можно принимать за вес данной пары синонимов, что, в свою очередь, позволит выбрать наиболее подходящие синонимы. Пары синонимов идут в порядке возрастания весов, так что последние 5 пар можно считать наиболее удачными.
Continue reading »

WordSyn 5.0 уже на подходе

Заканчиваю тестирование новой версии синонимайзера. Надеюсь, что к концу недели все баги будут выловлены, и новая версия увидит свет.

Кстати, практически все серьезные недочеты были исправлены. Особенно это относится к морфологии, так что проблем со склонением глаголов уже не будет.
Continue reading »