OSDN -- Open-Source-Software-Entwicklung und Downloads
Übersetzungsstatus von Deutsch translation status for de

RSS
Downloadliste

Projektbeschreibung

webbase is an Internet crawler. It is able to crawl and maintain millions of URLs and store information about them in a MySQL database. The interface is either a command line program or a C library. It contains hooks to plug a full text indexing database.

Systemanforderungen

Die Systemvoraussetzungen sind nicht definiert
Information regarding Project Releases and Project Resources. Note that the information here is a quote from Freecode.com page, and the downloads themselves may not be hosted on OSDN.

2001-01-30 15:14
5.2

Test-Suite hinzugefügt, diverse Bugfixes.
Test suite added, various bug fixes.

2001-01-30 15:14
5.16

-Version zeigt nun die Versionsnummer. Eine Zuordnung Fehler bei der Aktualisierung der Volltextindex und ein Name-Server-Timeout Zustand Handhabung Optimierung wurden behoben. / etc / my.cnf ~ /. my.cnf und datadir / my.cnf werden nun anstelle von ~ /. my.cnf allein.
-version now shows the version number. An allocation error when updating the full text index and a name server timeout condition handling optimization have been fixed. /etc/my.cnf, ~/.my.cnf, and datadir/my.cnf are now used instead of ~/.my.cnf alone.

2001-01-30 15:14
5.15

Implementierung von dynamischen Aktualisierung des Volltextindex und Updates für ein Zeitpunkt der letzten Änderung Update-Bug, eine MySQL-3.23.19a-gamma-Namespace Konflikt, und ein Fehler, der den Startpunkt in nativem Zustand belassen künstlich.
Implementation of dynamic updating of the fulltext index, and fixes for a last modified time update bug, a mysql-3.23.19a-gamma namespace conflict, and a bug that left the start point in virgin state artificially.

2001-01-30 15:14
5.14

A-Crawler Option zum gleichzeitigen Crawler laufen und ein Signal-Handler-Funktion für anmutige Unterbrechung des Crawler, und die Fähigkeit zur url, url_complete und url_content Tabellen, die mehr als 4 GB wachsen. Der Haken Bibliothek ist dynamisch belastbar mit der Option-Haken, so dass spezifische Strategien vollständige Indexierung als Plugins implementiert werden können. Die where_url-Option in Betracht gezogen, wenn Wiederaufbau des Volltextindex mit-rebuild. Erweiterungen und MIME-Typen wurden auf die Liste der bekannten MIME-Typen hinzu. Die auth Bereich der Start-Tabelle wurde entfernt, weil er nicht gebraucht wurde.
A -crawlers option to run simultaneous crawlers and a signal handling function for graceful interuption of the crawlers, and the ability for url, url_complete, and url_content tables to grow over 4GB. The hook library is dynamically loadable with the -hook option so that specific full indexing strategies can be implemented as plugins. The -where_url option is taken in account when rebuilding the full text index with -rebuild. Extensions and MIME types have been added to the list of known MIME types. The auth field of the start table was removed because it was not used.

2001-01-30 15:14
5.13

Der Crawler Handbuch Seite wurde komplett für die Richtigkeit überprüft. Fehlerbehebungen wurden in der mifluz-Schnittstelle hergestellt. Die Agent-Option durchgeführt wurde. Die Familien-Show Option wurde hinzugefügt, um alle URL-Informationen von einem Explorationsunternehmen Ausgangspunkt anzuzeigen. Die Konfigurations-Skript wurde verbessert. Major Lecks und concurency Probleme wurden in der langrec Oberfläche wurde behoben. Der Anwendungsbereich der zulassen oder verbieten Vergleich wurde erweitert, um CGI-Parameter enthalten. Code zu verwenden. My.cnf-Dateien (falls vorhanden) wurde restauriert.
The crawler manual page was completely reviewed for correctness. Bug fixes were made in the mifluz interface. The -agent option was implemented. The -show option family was added to display all URL information from an exploration starting point. The configuration script was improved. Major leaks and concurency problems were fixed in the langrec interface. The scope of the allow/disallow comparison was widened to include CGI parameters. Code to use .my.cnf files (if any) was restored.

Project Resources

Project Page Download: Änderungsprotokoll Download: CVS