OSDN -- Open-Source-Software-Entwicklung und Downloads
Übersetzungsstatus von Deutsch translation status for de

RSS
Downloadliste

Projektbeschreibung

Ebot is a scalable and distribuited Web crawler. The URLs are saved to a NOSQL database (which supports map/reduce queries) that you can query via RESTful HTTP requests or using your preferred programming languages. The URLs that need to be analyzed are sent to AMQP queues. In this way, it is possible to run several crawlers in parallel and stop and start them without losing URLs.

Systemanforderungen

Die Systemvoraussetzungen sind nicht definiert
Information regarding Project Releases and Project Resources. Note that the information here is a quote from Freecode.com page, and the downloads themselves may not be hosted on OSDN.

2010-12-30 13:03
0.9

Eine bessere Plugin-Architektur. Neue Plugins für das Speichern von Bild-URLs und Titel von HTML-Seiten.
A better plugin architecture. New plugins for saving image URLs and titles of HTML pages.

2010-12-18 18:59
0.8

Diese Version wurde auf die neuesten Versionen von rabbitmq (2.2.0) und couchbeam aktualisiert. Einige Bugs wurden gefixt.
This release was updated to the latest releases of rabbitmq (2.2.0) and couchbeam. Some bugs were fixed.

2010-09-18 07:05
0.7

Kompatibilität mit Erlang R14A. Getestet mit Debian-Testing.
Compatibility with Erlang R14A. Tested with Debian Testing.

2010-08-27 07:24
0.6

Kompatibilität mit den neuesten (Entwicklungs-) Versionen der benötigten Bibliotheken und Software (rabbitmq, couchdb, webmachine, Riak, etc.)
Compatibility with the latest (development) releases of required libraries and software (rabbitmq, couchdb, webmachine, riak, etc.)

2010-06-20 23:18
0.5

Für eine bessere Skalierbarkeit, sind neue AMQP Warteschlangen verwendet (ebot.new ebot.fetched .* .* .* ebot.completed ebot.refused .*) und der alte Kern der Crawler (ebot_web) ist nun in zwei verschiedene Module aufgeteilt und parallel / Prozesse (ebot_html und ebot_web).
For better scalability, new amqp queues are used (ebot.new.* ebot.fetched.* ebot.completed.* ebot.refused.*) and the old core of the crawler (ebot_web) is now split in two different and parallel modules/processes (ebot_html and ebot_web).

Project Resources

Homepage Project Page