Мои публичные проекты

Оказалось, что я допустил ошибку, и из-за этого все пришлось начинать сначала. Правда, теперь я запустил обработку на более быстрой машинке, так что средняя скорость обработки возросла до 2500 слов в минуту, что в 3.5 раза быстрее предыдущей машины. Теперь я могу надеяться, что обработка запланированных 4000 файлов займет не более десяти часов.

На данный момент обработано 350 файлов общим размером 60 мегабайт, и найдено почти миллион разных пар. Во время поиска я не только добавляю новые пары, но и увеличиваю их счетчик встречаемости, так что статистика должна быть наиболее полной. Кстати, три наиболее встречающиеся пары: “та пора”, “качать головой” и “крайняя мера”. В трехстах пятидесяти обработанных файлах они встречаются в разных грамматических формах почти две тысячи раз!