OSDN -- Open-Source-Software-Entwicklung und Downloads
Übersetzungsstatus von Deutsch translation status for de

RSS
Downloadliste

Projektbeschreibung

Ebot is a scalable and distribuited Web crawler. The URLs are saved to a NOSQL database (which supports map/reduce queries) that you can query via RESTful HTTP requests or using your preferred programming languages. The URLs that need to be analyzed are sent to AMQP queues. In this way, it is possible to run several crawlers in parallel and stop and start them without losing URLs.

Systemanforderungen

Die Systemvoraussetzungen sind nicht definiert
Information regarding Project Releases and Project Resources. Note that the information here is a quote from Freecode.com page, and the downloads themselves may not be hosted on OSDN.

2010-06-08 16:40
0.4

Custom / externe Stelle Analysatoren und URL Normalisatoren werden nun unterstützt. Die Konfigurationsdateien wurden standardisiert.
Custom/external body analyzers and URL normalizers are now supported. The configuration files were standardised.

2010-05-30 04:26
0.3

Die erste Unterstützung war für Riak als Backend-Datenbank hinzugefügt, obwohl der Standard noch Apache CouchDB. Neue Optionen für den Anschluss an Remote-DB und AMQP Server hinzugefügt wurden.
Initial support was added for Riak as a backend database, though the default is still Apache couchdb. New options for connecting to remote DB and AMQP servers were added.

2010-05-20 05:46
2010-05-19

Die Statistik für die DB aufgenommen worden (einige URLs, die DB-Größe), AMQP (Queues zählt) und Web (Crawler) mit rrdtool.
Statistics have been added for db (number of urls, db size), amqp (queues counts), and web (crawlers) with RRDTOOL.

Project Resources

Homepage Project Page