WS7 - парсинг каталога

В настоящий момент занимаюсь тем, что граблю один каталог ресурсов. Это нужно для того, чтобы иметь дерево тем. Одновременно с этим сохраняю список сайтов на каждой из страниц каталога (если они есть). Затем, после того, как весь каталог будет сграблен, будут загружены по 10 сайтов из каждого раздела каталога, и будут собраны ключевые слова. Причем это будет титаническая работа, так как время от времени будут появляться слова, которые относятся к одной тематике, но будут использованы в других темах. Так что придется просмотреть большое количество слов, входящих в разные темы и поправить неправильно определенные слова.
Continue reading »