Мои публичные проекты

Казалось бы, о том, что необходимо кешировать данные в памяти писано-переписано… Ан, нет, все мы наступаем на те же грабли. Не стал исключением и я. Только что переделал программку для поиска пар, да так переделал, что скорость поиска увеличилась до 106 тысяч слов в секунду! А всего-то и надо было сделать, так это сохранять данные о найденных парах в коллекции в памяти, а потом этот массив выгружать в виде CSV файла на диск, чтобы потом импортировать его в базу. Да, импорт займет некоторое время, но это время будет в тысячи раз меньшим, чем последовательное обращение к базе для поиска уже записанных в него пар. В общем, обработка 4000 файлов общим объемом 800 мегабайт занимает 22 минуты. Как оказалось, в таком объеме 126 миллионов слов! Даже если читать по 100 слов в минуту, то на прочтение такого количества уйдет 875 дней непрерывного чтения! А моя программа прочла их за каких-то 22 минуты. А мы-то думали, что венец творения - человек!