WordSyn 5: о скорости работы программы
Написал предыдущий пост и тут же решил испытать скорость работы программы.
Для начала был синонимизирован мой предыдущий пост. Он содержит 2482 символа (с пробелами), 372 слова (367 неповторяющихся). Обработка этого текста заняла 8 секунд, в результате чего 167 слов (45.5%) было заменено на синонимы. Похожесть текстов: 0%.
Вторым был синонимизирован детектив размером 44439 символов (с пробелами), в котором было 6379 слов, из которых только 2784 слова были уникальными. Вся обработка текста заняла 1 минуту и 53 секунды. В результате получилась следующая картина: 2511 слов (39.4%) было заменено на синонимы, что дало нулевую похожесть по методу десятисловных шинглов.
Синонимизация полуторамегабайтного текста (109 000 слов всего, 23 000 неповторяющихся слов) показала скорость обработки примерно 2000 слов в минуту, так что на 23 тысячи слов ушло бы чуть мнее 12 минут. Правда, после синонимизации программа должна распределять полученные синонимы по тексту и создать текст для отображения, что заняло бы еще минут 40. Так что я не стал ждать и остановил проект, понимая, что не стоит тратить время только для того, чтобы посмотреть статистику. Надеюсь, вы тоже не занимаетесь такой ерундой, как синонимизация гигантских текстов в ручном режиме - для этого более эффективно использовать автоматический режим. Все равно просмотреть и исправить такой текст вручную достаточно проблематично.
Таким образом все три проверки показали одинаковый результат: скрость обработки составляет примерно 2000 слов в минуту. И это с использованием морфологии. Если же использовать простой поиск по словарю, то скорость обработки должна еще возрасти. Это я проверю чуть позже, когда будет возможность отключать морфологический движок в настройках программы.
Загрузка ...
09.11.2009 в 22:40
Здравствуйте.
Уже наверно надоел этот вопрос, но все же когда примерно ожидать выхода обновленной программы? И еще вопрос: я владелец комерческой лицензии, на что мне расчитывать в плане обновления программы, а то читая информацию на этом блоге, совсем запутался что ждет меня в плане обновления.
С уважением.
12.11.2009 в 21:37
ты получишь лицензию WS2. Или доплатив 1$, можешь получить лицензию WS3-максимальную. Но есть одно НО, то что заложено в WS3, не будет реализовано в так сильно ожидаемом нами всеми релизе. Кстати, Мастер, в какой срок нужно заплатить 1$ владельцам бывшей “коммерческой” лицензии чтобы застолбить за собой право когда-нибудь в будущем воспользоваться благами возможностей WS3?
13.11.2009 в 09:09
2Михаил: программа уже отдана на тестирование, так что версия 5.0.1 выйдет уже в следующий понедельник. О том, что нужно сделать для того, чтобы получить обновление, и что вы можете ожидать в будущих обновлениях я напишу в следующем посте.
13.11.2009 в 10:14
ещё бы выложил почитать - что получилось то из твоего предыдущего поста в результате работы проги ?
13.11.2009 в 11:14
2GTAlex: на самом деле это в настоящий момент значения не имеет. Результат обработки текста в разных вариантах программы появится чуть позже. Для этого я выделю отдельный пост и вывешу результаты обработки на сайте программы.
13.11.2009 в 11:58
спасибо за ответ!
15.11.2009 в 11:34
и поддержку английского не забудьте, как обежали
16.11.2009 в 09:53
Поддержка английского включена. Правда, из-за того, что уровень моего английского оставляет желать лучшего, словари для этого языка придется составлять самостоятельно.