Создание "пауков" в Linux.. Архив новостей за 14 февраля 2007 года

В этой статье показано, как в среде Linux® создаются агенты типа spider и scraper, позволяющие просмотреть какой-либо Web-сайт и собрать нужную информацию (в данном случае – данные о курсовой стоимости акций).
Паук (spider) – это программа, "ползающая" по Интернету определенным образом и с определенной целью. Цель может состоять в сборе информации или в понимании структуры какого-либо Web-сайта и его полезности. На применении пауков основаны современные поисковые машины, такие как Google и AltaVista. Такие пауки автоматически извлекают данные из Web-сайта и передают их другим приложениям, которые индексируют контент этого Web-сайта с целью формирования наилучшего набора поисковых терминов.
"Web-скребок" (Web scraper) – это агент, который действует аналогично Web-паукам, но более интересен с юридической точки зрения. Scraper – это разновидность паука, которая нацелена на работу с определенным Интернет-контентом, например, с данными о стоимости продуктов или услуг. Один из вариантов применения scraper-агентов – т.н. конкурентное ценообразование, т. е. выявление существующих на рынке цен на определенную категорию товаров с целью установления соответствующих цен на собственную продукцию. Кроме того, scraper способен объединять данные из нескольких источников в Интернете и предоставлять эту итоговую информацию пользователю. Подробнее на IBM developerWorks Россия

IBM developerWorks Россия

Архив новостей

2007

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2008

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2009

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2010

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2011

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2012

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2013

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2014

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2015

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2016

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь

октябрь

ноябрь

декабрь

2017

январь

февраль

март

апрель

май

июнь

июль

август

сентябрь