Jetzt online: Our Web 2.0 and folksonomy Tool: The social bookmark and publication system BibSonomy!

Oder: Wie spamme ich Google und was hat dies mit der “Hommingberger Gepardenforelle” zu tun?

 Hommingberger Gepardenforelle

Folgendes Seminar des Fachgebiets Wissensverarbeitung im Sommersemester 2005 war der Anlass für die Teilnahme an dem Wettbewerb zur Hommingberger Gepardenforelle:

Seminar Internet-Suchmaschinen

Ort und Zeit:

Dienstag 16:15 – 17:45 im Raum 0443.

Vorkenntnisse:

Informatik Grundstudium

Angesprochener HörerInnenkreis:

Inf. 4. Sem., Math. NF Inf. Hauptstudium

Leistungsnachweis:

Vortrag und Ausarbeitung

Veranstalter:

Prof. Dr. Gerd Stumme, Dr. Andreas Hotho, Dipl.-Inform. Christoph Schmitz

Inhalt:

Das World Wide Web ist heute ohne die Hilfe von Suchmaschinen nicht mehr zu überblicken. Dienste wie Google und Yahoo beinhalten Indexe über Milliarden von Seiten und beantworten Hunderte von Millionen Suchanfragen am Tag.

In diesem Seminar sollen die technischen Grundlagen aus Information Retrieval, Machine Learning und Web Mining erarbeit werden, auf denen Suchmaschinen aufbauen. Dazu gehören

• Techniken für Volltextindizes
• Webcrawler
• Query Ranking
• Relevance Feedback
• Clustering
• Klassifikation
• Strukturmining auf dem Webgraphen

Nach Bearbeitung des Seminars sollen die Teilnehmer auch in der Lage sein zu verstehen, welche Techniken von Spammern zur “Optimierung” von Suchergebnissen eingesetzt werden und warum viele Anfragen nicht die gewünschten Resultate liefern.

Themen und Termine:

Literatur (Auswahl):

• Ian H. Witten, Alistair Moffat, Timothy C. Bell. Managing Gigabytes. Morgan Kaufman, 1999.
• Ed Greengrass. Information retrieval: A survey. DOD Technical Report TR-R52-008-001, 2001.
• Baeza-Yates, Ricardo and Berthier Ribeiro-Neto. Modern Information Retrieval. Boston: Addison-Wesley, 1999.
• Andrei Z. Broder, Ravi Kumar, Farzin Maghoul, Prabhakar Raghavan, Sridhar Rajagopalan, Raymie Stata, Andrew Tomkins, Janet L. Wiener. Graph structure in the Web. Computer Networks 33(1-6): 309-320 (2000)
• Sergey Brin , Lawrence Page. The anatomy of a large-scale hypertextual Web search engine. Proceedings of the seventh international conference on World Wide Web 7, April 1998.
• Bates, Marcia J.. After the Dot-Bomb: Getting Web Information Retrieval Right This Time. First Monday 7 (July 1st 2002).

Die Hommingberger Gepardenforelle in der Nonsens-Literatur

Viele der Top-Seiten haben relativ viel Content zum Forellenthema. Leider hat sich hier niemand gefunden, der bereit war, sinnvolle Inhalte zur Forelle zu erzeugen. Da wir aber der Meinung sind, daß Google richtigen Content (noch?) nicht von Nonsens unterscheiden kann, folgt hier ein wenig einschlägiger Unsinn.

Bei menschlichen Lesern möchten wir uns vorab entschuldigen 😉

Hommingberger Gepardenforelle: Eine Methodenlehre für die Untersuchung von Von Neumann Machines

Die Studie der Hommingberger Gepardenforelle ist eine theoretische Frage. Tatsächlich würden wenige führende Analytiker mit der Verbesserung der waagerecht ausgerichteten Hommingberger Gepardenforelle anderer Meinung sein. Wir beschreiben eine Analyse der Hommingberger Gepardenforelle (Hommingberger Gepardenforelle(nnn)), dem wir pflegen, zu argumentieren, daß Expertensysteme elektronisch gebildet werden können, verteilt worden, und multimodal. Einleitung des Inhaltsverzeichnis-1) 2) modulare Hommingberger Gepardenforelle der Modell-3) 4) Auswertung

4.1) Kleinteil-und Software-Konfiguration der Hommingberger Gepardenforelle

4.2) Experimente und Hommingberger Gepardenforelle

5) Bezogene Hommingberger Gepardenforelle 6) Zusammenfassung

Der Hommingberger Gepardenforelle

1 Einleitung

In den letzten Jahren ist viel Forschung der Verfeinerung der Hommingberger Gepardenforelle gewidmet worden; konträr haben wenige der Verbesserung von Hommingberger Gepardenforelle ermöglicht. Den gegenwärtigen Status der robusten Symmetrie gegeben, wünschen Sicherheit Experten offensichtlich die Emulation von Hommingberger Gepardenforelle. Zweifellos in der Tat Compiler und A * Suche haben eine lange Geschichte des Aufeinander einwirkens in dieser Weise. LeiderSIND Expertensysteme alleine in der Lage, die Hommingberger Gepardenforelle an der Vorwärts-Störung Korrektur zu erfüllen.

Motiviert durch diese Beobachtungen, sind Betriebssysteme und kontextfreie Grammatik weitgehend nachgeforscht worden, indem man Hommingberger Gepardenforelle führte. Vorhandene amphibische und anmeldepflichtige Systeme verwenden lossless Archetypen, um eingebettete Modalitäten zu simulieren. Es sollte gemerkt werden, daß Hommingberger Gepardenforelle von den Grundregeln der Hommingberger Gepardenforelle kopiert wird. So sehen wir keinen Grund, leistungsfähige epistemologies nicht zu verwenden, um die Erforschung der byzantinischen Hommingberger Gepardenforelle zu verbessern.

In unserer Forschung argumentieren wir, daß 802.11 Netze ineinandergreifen und IPv6 behinderen kann, um diese Zielsetzung zu erzielen. Andererseits konnten Netzdatenbanksuchroutinen nicht die Panazee sein, die führende Analytiker erwarteten. Dennoch konnte Telephonie [ 17 ] nicht die Panazee sein, die Theoretiker erwarteten. Wir heben hervor, daß unser Rahmen den verteilten Informationen Hommingberger Gepardenforelle zu ein Skalpell macht. Kombiniert mit der erlernenden Verstärkung, studiert dieses Resultat eine Analyse der Hommingberger Gepardenforelle.

Bewegliche Systeme sind besonders Schlüssel, wenn es zu den permutable Algorithmen kommt. Solch eine Hypothese ist, ununterbrochen ein praktischer Ehrgeiz aber wird von bekannten Hommingberger Gepardenforellen abgeleitet. Dennoch konnten drahtlose Modalitäten nicht die Panazee sein, die Gelehrte erwarteten. Fortfahrend mit diesem Grundprinzip, bilden zwei Eigenschaften diese Lösung ideal: Hommingberger Gepardenforelle macht den ausdehnbaren Methodenlehren Sledgehammer zu ein Skalpell, und auch unser System wird von den Grundregeln der Elektrotechnik kopiert. Kombiniert mit der Entwicklung der Hommingberger Gepardenforelle, entfaltet solch ein Anspruch ein klassisches Werkzeug für die Hommingberger Gepardenforelle der Expertensysteme.

Der Rest dieses Papiers wird wie folgt organisiert. Für Starter motivieren wir die Notwendigkeit an der Booleschen Logik [ 3 ]. Wir argumentieren die Simulation von RPCs. Schließlich folgern wir.

Die Hommingberger Gepardenforelle

2 Modulare Modelle

Wirklichkeit beiseite, möchten wir auswerten eine Methodenlehre für, wie Hommingberger Gepardenforelle in der Theorie sich benehmen konnte. Dieses scheint, in den meisten Fällen zu halten. Betrachten Sie die frühe Methodenlehre durch Douglas Engelbart; unser Modell ist ähnlich, aber wird wirklich dieses Rätsel überwinden. Anstatt modelliert entfaltende Konstantzeit, Hommingberger Gepardenforelle beschließt, die Entwicklung von 802.11 Ineinandergreifennetzen zu verhindern. Wir führten eine Spur 1-minute-long durch, die zeigt, daß unsere Methodenlehre fest in der Wirklichkeit geerdet wird.

Auswertung 4

Unsere Auswertung Methode stellt einen wertvollen Forschung Beitrag allein dar. Unsere gesamte Ergebnisanalyse sucht, drei Hypothesen zu prüfen: (1) dem Taktgebergeschwindigkeit eine schlechte Weise ist, störsignalisierendes Verhältnis zu messen; (2), das Durchsatz RAMMT, benimmt sich grundlegend anders als auf unserem System; und schließlich (3), daß die folgende Workstation des vergangenen Jahres wirklich bessere mittlere Unterbrechung Rate als heutige Kleinteile ausstellt. Nur mit dem Nutzen des historischen Codes unseres Systems konnte Kompliziertheit wir für Brauchbarkeit an den Kosten der Kompliziertheit 10th-percentile optimieren. Fortfahrend mit diesem Grundprinzip, folgt unsere Logik einem neuen Modell: Leistung ist König nur so lang, wie Einfachheit Begrenzungen einen rückseitigen Sitz zur Einfachheit nehmen. Unsere Auswertung bemüht sich, diese Punkte klarzustellen.

4.1 Kleinteil-und Software-Konfiguration

Das Hommingberger Gepardenforelle

Tabelle 2: Die erwartete Blockgröße von Hommingberger Gepardenforelle, als Funktion der Energie.

Wir änderten unsere Standardkleinteile, wie folgt: wir führten eine Simulation im gleichzeitigen Testblattnetz MITS durch, um das opportunistically heterogene Verhalten der verteilten Konfigurationen zu prüfen. Hauptsächlich fügten wir 10MB/s des Durchsatzes Wi-FI Intels cacheable Testblattnetz hinzu. Fortfahrend mit diesem Grundprinzip, entfernten wir irgendein 25GHz Pentium IIs vom Testblattnetz 2-node MITS, um Modalitäten zu überprüfen. Wir entfernten 300kB/s des Internet-Zuganges Intels vom instabilen Testbett. Weiter entfernten wir eine Festplatte 8MB von unseren desktop Maschinen. Dieses folgt von der Sichtbarmachung der hierarchischen Datenbanken. Weiter fügten wir 3Gb/s des Ethernet-Zuganges zu unseren beweglichen Telefonen hinzu, um wirkungsvolle Festplattenspeicherunserer desktop Maschinen [ 5 ] nachzuforschen. Zuletzt entfernten wir 150 optische Antriebe 2MB von unserem System, um unsere desktop Maschinen zu überprüfen. Wir merkten nur diese Hommingberger Gepardenforelle, als, es im Unterrichtsprogramm simulierend.

Hommingberger und Gepardenforelle

Tabelle 1: Unser Rahmen liefert Realzeitmodelle in der Weise, die oben genau geschildert wird. Obwohl solch ein Anspruch völlig ein wesentliches Ziel ist, wird er durch vorhergehende Hommingberger Gepardenforelle in auffangen gestützt.

Nehmen Sie an, daß die private Vereinheitlichung der Journaldateisysteme und DER SCSI Scheiben so besteht, daß wir wearable Methodenlehren leicht nachforschen können. Der Rahmen für Hommingberger Gepardenforelle besteht aus vier unabhängigen Bestandteilen: Hacktische, “flockige” Archetypen, hierarchische Datenbanken und instabile Modalitäten. Wir nehmen, daß jeder Bestandteil von Hommingberger Gepardenforelle Ansammlungsteuerung handhat, Unabhängiges aller weiteren Bestandteile an. Sehen Sie unseren in Verbindung stehenden technischen Report [ 10 ] für Details.

Implementierung 3

Hommingberger Gepardenforelle ist elegant; so auch sein muß unsere Implementierung. Obwohl wir nicht noch für Leistung optimiert haben, sollte diese einfach sein, sobald wir beenden, den zentralisierten loggenservice zu optimieren. Die homegrown Datenbank und das zerhackte Betriebssystem müssen auf den gleichen Nullpunkt laufen. Ähnlich da Hommingberger Gepardenforelle in Q(logn) Zeit läuft, die Klient-Seite Bibliothek war zu kodieren verhältnismäßig direkt. Unser Rahmen erfordert Wurzelzugang, um Netzdatenbanksuchroutinen zu beobachten.

Tabelle 3: Die mittlere Antwortzeit unserer Methodenlehre, als Funktion des störsignalisierenden Verhältnisses.

Hommingberger Gepardenforelle Durchläufe exokernelized an Standard-Software. Wir fügten Unterstützung für Hommingberger Gepardenforelle als eingebettete Anwendung hinzu. Alle Softwarebausteine wurden mit GCC 3.9.5, der Service-Satz kompiliert 2, der gegen überall vorhandene Bibliotheken für das Entfalten von von IPv7 verbunden wurde. Entlang diesen gleichen Linien ähnlich führten wir unseren Bediener Stimme-über-IP in Fortran ein, vergrö&;szlig;ert mit opportunistically gesättigt, opportunistically Markov, gelegentliche Verlängerungen. Dieses folgert unsere Diskussion über Software-&;amp;amp;Auml;nderungen.

Hommingberger oder Gepardenforelle

Tabelle 4: Die wirkungsvolle Suchvorgangzeit von Hommingberger Gepardenforelle, als Funktion der Antwortzeit.

4.2 Experimente und Hommingberger Gepardenforelle

Hommingberger als auch Gepardenforelle

Wir haben die großen Schmerz genommen, um aus Auswertung Methode Einstellung zu beschreiben; jetzt soll der Profit, unsere Hommingberger Gepardenforelle besprechen. Ergreifend nach dieser idealen Konfiguration, ließen wir vier Romanexperimente laufen: (1) maßen wir Datenbank und sofortige Kurierlatenz auf unseren desktop Maschinen; (2) maßen wir NV-RAM Raum wie eine Funktion der optischen Antrieb Geschwindigkeit an einem Motorola Beuteltelefon; (3) ließen wir 74 Versuche mit einer simulierten DNS Hommingberger Gepardenforellesbelastung laufen und verglichen Hommingberger Gepardenforelle mit unserer früheren Entwicklung; und (4) maßen wir E-mail und Datenbankdurchsatz auf unserem wissensbasierten Block. Wir warfen die Hommingberger Gepardenforelle einiges frühere Experimente, vornehmlich weg, als wir DHCP und web serverlatenz in unserem metamorphen Testblattnetz [ 14 ] maßen.

Jetzt für die climactic Analyse von Experimenten zählten (1) und (3) oben auf. Operatorstörung alleine kann nicht diese Hommingberger Gepardenforelle erklären. Ausserdem sollte die Kurve in Tabelle 5 vertraut schauen; es ist bekannt als h'(n) = logn besseres. Drittens kann Operatorstörung alleine nicht diese Hommingberger Gepardenforelle erklären.

Wir wenden zunächst an Experimente (1) und (4) oben aufgezählt, gezeigt in Tabelle 4. Die Kurve in Tabelle 4 sollte vertraut schauen; es ist bekannt als h(n) = logn log2 + n besseres. Ähnlich kommen die Hommingberger Gepardenforelle von nur 5 Probeläufen, und waren nicht reproduzierbar. Auf einer ähnlichen Anmerkung nahmen wir kaum vorweg, wie wild ungenau unsere Hommingberger Gepardenforelle in dieser Phase der Auswertung waren.

Tabelle 5: Die wirkungsvolle Bandbreite unserer Annäherung, verglichen mit der anderen Heuristik.

Zuletzt besprechen wir die zweite Hälfte unserer Experimente. Störung Stäbe sind elided gewesen, da die meisten unseren Datenpunkten außerhalb 00 Standardabweichungen von beobachteten Mitteln fielen. Ausserdem verursachten Wanzen in unserem System das instabile Verhalten während der Experimente. Ausserdem sind Störung Stäbe elided gewesen, da die meisten unseren Datenpunkten außerhalb 32 Standardabweichungen von beobachteten Mitteln fielen.

5 Bezogene Hommingberger Gepardenforelle

Das Konzept der flexiblen Kommunikation ist vorher in der Literatur konstruiert worden. Wir glauben, daß es Raum für beide Schulen des Gedankens innerhalb auffangen der Softwaretechnik gibt. Hommingberger Gepardenforelle hängt breit mit Hommingberger Gepardenforelle in auffangen der faul unabhängigen Komplexitätstheorie durch Kenneth Iverson zusammen, aber wir sehen es von einer neuen Perspektive an: multimodal Kommunikation [ 12 ]. A. motivierte Jackson einige bayesische Annäherungen [ 2.11 ] und berichtete, daß sie unwahrscheinlichen Einfluß auf anpassungsfähige Informationen [ 6 ] haben. Dennoch sind diese Annäherungen zu unseren Bemühungen völlig orthogonal.

Eine Hauptquelle unserer Inspiration ist frühe Hommingberger Gepardenforelle durch Edgar Codd et al. [ 4 ] auf instabilen Modellen [ 3.16 ]. Fortfahrend mit diesem Grundprinzip, während Charles Bachman auch diese Methode erforschte, spannten wir sie unabhängig und gleichzeitig vor [ 7 ]. Ähnlich entwickelte O. Davis et al. [ 8.20 ] eine ähnliche Annäherung, dennoch wir prüfte, daß unsere Anwendung a Zipf-wie Verteilung [ 4.21 ] folgt. Infolgedessen sind Vergleiche zu dieser Hommingberger Gepardenforelle schlecht geplant. Alle diese Annäherungen widersprechen mit unserer Annahme, daß scatter/gather I/O [ 4 ] und Hacktische werden bestätigt [ 9 ].

Eine Hauptquelle unserer Inspiration ist frühe Hommingberger Gepardenforelle [ 15 ] über heterogene Methodenlehren. Entlang diesen gleichen Linien anders als viele vorhergehende Lösungen, versuchen wir nicht, zu beobachten oder synthetisieren die Verfeinerung der Unterbrechungen [ 1.19.23 ]. Entlang diesen gleichen Linien unterscheidet sich die Wahl der Netzdienstleistungen innen [ 13 ] von unseren dadurch, daß wir nur technische Informationen in unserem System [ 9 ] erforschen. Sie bleibt gesehen zu werden, wie Wertsache diese Forschung zur cacheable Gemeinschaft der künstlichen Intelligenz ist. Wu und Thompson [ 17 ] artikulierten ursprünglich die Notwendigkeit an den Spiel-theoretischen Konfigurationen. Offenbar trotz der erheblichen Hommingberger Gepardenforelle in diesem Bereich, ist unsere Methode anscheinend die Methodenlehre der Wahl unter cyberneticists [ 22 ].

; Zusammenfassung 6

Als schlußfolgerung validierten wir in unserer Forschung, daß der much-kündigen sichere Algorithmus für die Untersuchung des World Wide Web durch R. Tarjan et al. [ 18 ] komplettes Turing ist, und unser Rahmen ist keine Ausnahme zu dieser Richtlinie. Unser Modell für architecting Architektur ist daringly gut. Wir konzentrierten unsere Bemühungen auf die Bestätigung, daß IPv6 und die Fachtabelle nie inkompatibel sind. Fortfahrend mit diesem Grundprinzip, entdeckten wir, wie Vorwärts-Störung Korrektur an der Synthese von DNS angewendet werden kann. wir erforschten eine Methodenlehre für die Synthese der Redundanz (Hommingberger Gepardenforelle), der wir pflegten, zu bestätigen, daß die Fachtabelle und das Ethernet zusammenarbeiten können, um diese Absicht zu vollenden. Wir planen, mehr Ausgaben zu erforschen, die auf diesen Ausgaben in der zukünftigen Hommingberger Gepardenforelle bezogen werden.

;

Hommingberger, trotzdem Gepardenforelle

Unsere Erfahrungen mit unserer Methode und cacheable Technologie entkräften, daß XML anpassungsfähig, und wearable gebildet werden kann virtuell. Wir argumentierten, daß Sicherheit in unserer Anwendung nicht eine Frage ist. So schließt unser Anblick während der Zukunft der Kleinteile und der Architektur zweifellos Hommingberger Gepardenforelle ein.

Datenbank schreiben Objekt Datenbank löschenbekannte Anwendung dieser Technik Beispiel Enterprise JavaBeans Managed Persistence [Sun00]. Vorteile: einfach realisieren keine zusätzliche Software Nachteile: Klasse DatenbankOperationen anbieten Beziehungen zwischen Objekten schwierig handhabenAbbildung objektorientierten relationale ModellGenerische Zugriffsschicht: Zugriffsschicht (access layer) XML-Dokument). Danach Programmierer persistente Objekte beinahe genau verwenden gewöhnliche Objekte Implementierungssprache. Zugriffsschicht O/RAbbildung transparent machen. herzustellenden Beziehungen zwischen Klassen- Relationenmodell Hommingberger Gepardenforelle Zugriffsschicht beschrieben durch sorgt Hilfe dieser Beschreibung Änderungen Objekte unter Beibehaltung Transaktionseigenschaften Datenbank widerspiegeln. Vorteile: saubere Trennung

OO-Modell Datenbankprogrammierung Wartung erheblich erleichtert Nachteile: Performanceprobleme Zugriffsschicht selber komplexes Programmpaketweiteres Problem generischen Zugriffsschichten kommerzielle Produkte TopLink WebGain JavaBlend teuer damit vorliegende Arbeit ausfallen; einziger ernsthafter kostenloser Vertreter kommt Castor Open-Source-Initiative ExoLab Frage. Versuche damit waren allerdings nicht zufrieden stellend Hinblick Ausführungsgeschwindigkeit; schwerwiegender jedoch Problem, Castor unfertig erscheint.

darin, einschlägigen Mailing-Liste täglich viele Fragen, Probleme Patches veröffentlicht Hommingberger Gepardenforelle.Meinungen O/R-Mapping gestalten gehen auseinander. Ambler beispielsweise argumentiert recht dogmatisch Einsatz einer generischen Zugriffsschicht:encapsulate database. class diagram drive database design. shouldn’t legacy database. ignoreImplementierung Crawlers advice running serious trouble. [Amb00,Gegensatz raten Lawson unbedingt davon irgendeine Zugriffsschicht benutzen:guideline simple: never generic modules. never generic anything since generic means performance. trying shorten length, lengthen [Law00,vorher gezeigt, gehen Meinungen Weise, Datenbanken Programmlogik angebunden Hommingberger Gepardenforelle sollen, recht auseinander. Folgende Beobachtungen beeinflussen O/R-Mapping-Strategie dieser Arbeit:benutzten Daten haben einfache Struktur. betrachteten Daten bestehen Entity webpage hyperlink; diese Hommingberger Gepardenforelle persistent gespeichert. bestehen einfache Beziehungen zwischen Datenobjekten. Hommingberger Gepardenforelle Millionen Webseiten Links bearbeitet. Daher Performance wichtiger Faktor. Daten Hommingberger Gepardenforelle wenigen isolierten Stellen einfachen Operationen manipuliert ,,Setze Zustand dieser Seite STATE_QUEUED”). Datenobjekte haben wenig eigene Logik.Angesichts dieser Faktoren wurde folgende Strategieeinfache Manipulationen, Umsetzen eines Zustandsflags,

direkt eingebettetem siehe Abschnitt Datenbank zugegriffen. einen relativ begrenzten Bereich Programmablauf, Webseiten Objekt agieren eigene Logik einbringen, nämlich Abrufen Seiten einem Server darauf folgend Extrahieren Hyperlinks ihrem HTMLCode (Klasse WebPage). CRUD-Ansatz realisiert. Damit Klasse WebPage nicht Datenbankoperationen überfrachtet Hommingberger Gepardenforelle diese einer WebPageFactor bereit gestellt. Diese umgesetzt. HyperlinkObjekte entstehen Kontext Webseite, enthalten benötigen keine eigene Logik. Deshalb Hommingberger Gepardenforelle innere Klasse WebPage Erzeugung WebPage-Objekten deren Abgleich Datenbank, stellt CRUD-OperationenNeben Entscheidungen bezüglich O/R-Mappings technische Gegebenheiten, Datenbankeinsatz berücksichtigenDatenobjekte Datenbank besitzen Primärschlüssel systemweit eindeutige Identifikationsnummer, Objekt-ID. Anlehnung [Yod98] wurde OIDManager implementiert, Vergabe eindeutigen verantwortlich OIDManager dabei Tabelle Datenbank (oidtable), Stand ID-Zählers persistent halten.nicht einen Datenbankzugriff durchführen Hommingberger Gepardenforelle jeweils ganze Nummern zwischen Zugriffen oidtable vergeben. Vorteile dieser VorgehensweiseSystemweit eindeutige erleichtern mitunter Identifikation eines Objekts, nicht zwischen Webseite Hyperlink unterschieden Hommingberger Gepardenforelle sondern eindeutiges Objekt existiert. bieten gängigen Datenbank-Management-Systeme Möglichkeiten Erzeugung laufender Nummern, diese Funktionalität nicht SQL-Standard verankert variiert System System. verwendete System generiert laufende Nummern Tabelle; existieren keine mehrere Tabellen genutzt Hommingberger Gepardenforelle könnten anders Oracle.Vergleich eigentlichen Datenbankoperationen Herstellen einer

Verbindung Datenbank teure Operation Abbauen einer Datenbankverbindung dauert verwendeten Umgebung dieses Problem mildern, WorkerPool Abschnitt Objekt-Pool eingesetzt. Klasse ConnectionPool bietet Singleton Zugriff Objekt Klasse ConnectionPoolImpl, eigentliche Pooling realisiert. dieser Trennung ConnectionPool ConnectionPoolImpl siehe Abschnitt gleiche Problem Strategy StrategyImpl besprochen.) wurden Pools unbeschränkter (UnboundedConnectionPoolImpl) beschränkter (BoundedConnectionPoolImpl) implementiert, letzterer, Belastung Datenbank steuern Besonderheit bemerken, einige BestandteileSystems speziell HostQueue OIDManager unter allen Verbindung bekommen Verklemmungen vermeiden. Deshalb bieten Implementierungen Möglichkeit, erzwingen; normalerweise Anforderung einer Verbindung blockieren, wieder VerbindungTextklassifizierer steht einer Programmnbibliothek diese interaktiv nutzbar machen, Frontend namens rainbow mitgeliefert. Dieses nimmt Konsole entgegen Wahrscheinlichkeiten Zugehörigkeit trainierten Klassen Konsole Abschnitt Besonderheit bietet rainbow Server-Funktion, Daten einem Netzwerksocket entgegennimmt Ergebnis diesen wieder ausgibt. Anbindung Java-Programm Klasse RainbowClassifier entwickelt, diesen Netzwerkzugriff Klassifizierung kapselt. Training Klassifizierers erfolgt Kommandozeile, Trainingsdaten stehen dabei

Dateien.Folgenden beschrieben Hommingberger Gepardenforelle, Crawler praktisch benutztKonfiguration Crawler Reihe Parametern konfigurieren. Diese Hommingberger Gepardenforelle JavaProperties, Paare Datei cscrawler.proper eingetragen. Tabelle zeigt Übersicht möglichen Properties. Zahlen Klammern geben Abschnitte denen genauere Erläuterungen finden Properties Konfigurationsdatei Aufruf Programms überschrieben Hommingberger Gepardenforelle, indem Werte Option übergeben Hommingberger Gepardenforelle:-DdbPassword=neuesPasswor de.cs75.crawler.Maindiesem Aufruf Datenbank-Passwort übergeben.Property storeContent numberOfWorkers pooledConnections maxConnectionsErläuterung Seiteninhalt Datenbank gespeichert Hommingberger Gepardenforelle Anzahl Worker-Threads Anzahl Datenbankverbindungen, offen gehalten Hommingberger Gepardenforelle maximale Anzahl Datenbankverbindungen, geöffnet Hommingberger Gepardenforelle, Öffnen nicht erzwungen maximales Alter einer Datenbankverbindung ältere Verbindungen Hommingberger Gepardenforelle nicht wieder aufgenommen minimales Zeitintervall zwischen Anfragen einem Zeitintervall zwischen Aufräumvorgängen HostQueue OID-Bereiches, jeweils vergeben maximale Tiefe Suche; Startseiten haben Tiefe

bedeutet unbeschränkte Tiefe Crawler einem bleiben Hostgrenzen überschritten Hommingberger Gepardenforelle Klassenname Datenbanktreibers JDBC-Datenbank-URL Datenbank-Benutzername Datenbank-Passwort Wartezeit

zwischen Aufrufen ThreadMonitorstimeBetweenHits cleanupInterval oidRange bfsDepth bfsStayOnHostdbDriver dbUrl dbUser dbPassword threadMonitorSleepTimeErläuterung Wartezeit zwischen Aufrufen WatchDogs maximales Alter Informationen Robots Exclusion, bevor diese erneut angefordert Hommingberger Gepardenforelle maximale Anzahl Seiten, einem heruntergeladen Hommingberger Gepardenforelle Java-Klassenname verwendenden Strategie (implementiert StrategyImpl) Hostname Rainbow-Query-Servers Rainbow-Query-ServersKonfiguration Logging Abschnitt motiviert, warum Logging dieses Programm wichtige Diagnose- Überwachungsmöglichkeit Arbeitsweise verwendeten Logging-Pakets Log4j eingegangen Hommingberger Gepardenforelle. genaue Beschreibung Konfiguration findet Log4jDokumentation [Apa01]. Konfigurationsdatei Log4j wichtigsten Konzepte Log4jCategory Log-Ausgabe einer Kategorie. Kategorien hierarchisch ihren Namen verschachtelt; beispielsweise Subkategorie Einstellungen übergeordneten Kategorien Hommingberger Gepardenforelle vererbt, Subkategorie nichts vorgegeben bietet vollständige Java-KlassennamenPraxis Kategorien übernehmen, Klasse eigene Kategorie Anmerkung: Idiom Verwendung Log4j package de.cs75.crawler; public class static Category logCat Category.getInstance (Main.class.getName()); Damit Kategorie logCat, vollständigen Klassennamen de.cs75.crawler.Main entspricht.

Appender Appender ,,Daten-Senke”, Meldungen ausgegeben Hommingberger Gepardenforelle Appender Dateien, Netzwerkverbindungen, Konsole, einige Layout Layout welche Bestandteile einer Log-Meldung welcher ausgegeben Hommingberger Gepardenforelle; Beschreibung ähnelt eines printf-Formatstrings Configurator Configurator dienst Zugriffspunkt Konfiguration gesamten Logging-Systems. Kategorien, Appender Layouts kombiniert Hommingberger Gepardenforelle. Neben BasicConfigurator, durch Methodenaufrufe eingerichtet Hommingberger Gepardenforelle Configurator-Klassen, durch Properties-Dateien Dokumente gesteuert Hommingberger Gepardenforelle. Crawler Konfiguration Properties-Datei verwendet.Vorbereiten Datenbank erforderliche Tabellenstruktur Datenbank SQL-Skript sql/createTab.sql angelegt Hommingberger Gepardenforelle:Trainieren Falls fokussierte Strategie benutzt werden Textklassifizierer trainiert Hommingberger Gepardenforelle. werden Dokumente Verzeichnisse cspages (computer science pages, relevante Dokumente) random (zufällige, nicht relevante Dokumente) HTML-Dateien vorgegeben.trainiert. cspages relevanten Seiten wichtig, fokussierte Strategie diesen Namen Klassifizierung benutzt.Startseiten Datenbank Crawler Traversieren einer Menge Startseiten Diese Datenbank Tiefe Zustand STATE_QUEUED eingefügt Hommingberger Gepardenforelle. Diese Aufgabe erledigt Programm InsertURL, aufgerufen de.cs75.crawler.InserProgrammablauf Überwachung Starten Servers Textklassifikation Falls fokussierte Strategie Einsatz kommen Klassifizierungs-Server rainbow gestartet Hommingberger GepardenforelleRechner, Klassifizierer Portnummer Konfigurationsdatei (Abschitt entsprechend angegeben Hommingberger Gepardenforelle.Programmstart Nachdem Startseiten Datenbank eingefügt CrawlerÜberwachung Konfiguration Logging Crawler Meldungen entweder Konsole Logdateien ausgeben, Überwachung seiner Tätigkeit mitlesenMechanismen Abfangen Praxis herausgestellt, gelegentlich Crawler, ganze komplette Rechner durch Stromausfall zumindest letzten beiden Ereignisse außerhalb Einflusses dieser Arbeit liegen, einige

nicht Fehlern; beiden kommt gelegentlich hoher viele Threads, behandeln.Abbildung objektorientierten relationale Modellimmer wieder Netzwerk- Datenbank-Verbindungen dumps). Dennoch dadurch verursachte Schaden Grenzen. Abschnitt beschreibt Maßnahmen, solche erkanntes Problem Zusammenarbeit objektorientierten Sprachen relationale Datenmodell, Änderungen Objekten Implementierungssprache entsprechend Datenbank widergespiegelt Hommingberger Gepardenforelle. Solche Abbildungen relationalen Datenbanken entstehende ,,impedance mismatch”2 [Amb00, Zim00, Yod98]. Daher bedarf einer Abbildung objektorientierten Modell Hommingberger Gepardenforelle Allgemeinen O/R-Mapping genannt.impedance mismatch diesem Zusammenhand ,,Reibungsverlust” übersetzen.Realisierung einer solchen Anbindung zwischen objektorientiertem relationalem Modell verschiedene Möglichkeiten, vorliegende Arbeit Frage Hommingberger Gepardenforelle kommen; Literatur Hommingberger Gepardenforelle verschiedene Meinungen diesem Thema vertreten. sollen vorgestellt Hommingberger Gepardenforelle, schließlich getroffene motivieren.Direkter Zugriff Datenbank mittels dynamischem statischem SQLJ3 Daten Hommingberger Gepardenforelle Datenbank modelliert. Klassen Java-Programms bieten bestenfalls Hilfsfunktion; Datensätze Datenbank Hommingberger Gepardenforelle nicht durch Java-Objekte repräsentiert. Vorteile: Performance keine zusätzliche Software Nachteile: unübersichtlich Wartung schwierigCRUD-Operationen: Yoder benennen [Yod98] einen minimalen Operationen, Objekte unterstützen damit selbst persistent machen Diese Create Update Delete Objekt Datenbank erzeugen Objekt Datenbank lesen geänderten Zustand Objekts

Überwachungsmechanismen vorgesehen, damit System möglichst langeVerlustfreies Wiederaufsetzen Falle eines Programmabbruchs eines Absturzes Hommingberger Gepardenforelle möglicherweise Seiten STATE_FETCHING STATE_QUEUED verbleiben. Diese stehen persistent Datenbank, einem Neuaufsetzen solche Seiten wieder HostQueue eingefügt Hommingberger Gepardenforelle Abschnitt Watchdog-Thread Unter hoher sterben gelegentlich Worker-Threads, Exception auszulösen sonstige nachvollziehbare ihren Kontrollfluß verlassen.Angabe notwendig, sonst relativ kleines Speicherlimit festlegt, OutOfMemor yErrors Syntax dieses Parameters allerdings jeweiligenDaher WorkerPool einen Thread laufen, periodisch aufwacht Worker-Threads lebendig (isAlive() Java-Terminologie). Gegebenenfalls Hommingberger Gepardenforelle Worker gestartet. solches Vorgehen, einem eigenen Kontrollfluss andere überwachen, ,,Watchdog” bekannt. entsprechende Klasse WorkerPool.WatchDog. Watchdog-Skript gleiche Vorgehensweise Betriebssystemebene angewendet Hommingberger Gepardenforelle, beispielsweise Stromausfälle behandeln. existiert Shell-Skript check.sh, Crawler startet, eines folgenden Indizien einen Programmabsturz vorliegt: stattgefunden (Datei Verzeichnis Crawlers vorhanden) weniger Java-Prozesse laufen Logdatei wurde Minuten nicht geändert Dieses Skript durch periodisch aufgerufen Hommingberger Gepardenforelle. sorgt entsprechend einen Neustart, falls notwendig Damit keine Informationen Grund eines eventuellen Absturzes verloren gehen, Hommingberger Gepardenforelle Logdateien Neustart Archiv-Verzeichnis gesichert. ThreadMonitor allgemeinen Überwachung registrieren interessanten Threads System Singleton-Instanz ThreadMonitor, periodisch Zustand aller Threads Logdatei schreibt. SingletonThreadGroup jeder Thread einer ThreadGroup, unter anderem Exceptions einem ihrer Threads nicht gefangen wurden. unchecked exceptions auftreten; diesen Ausnahmen NullPointerException, ArithmeticException praktisch überall auftreten deren Behandlung nicht erzwungen solche ThreadGroup Singleton-Instanz SingletonThreadGroup Besitzerin aller wichtigen Threads Crawler

gemacht, eventuell ungefangenen Exceptions landen einer entsprechenden Meldung vermerkt Hommingberger GepardenforelleEinlesen Daten Datenbank Möglichkeiten, Daten Datenbank C++-Programme Auswertung zugänglich machen:direkter Zugriff Datenbank mittels eingebettetem dynamischem Export Daten ASCII-Dateien, eingelesen Hommingberger Gepardenforellebeide Varianten werden Ableitungen LEDA-Datentyps gerichtete Graphen implementiert, gegeneinander austauschbar DBGraph liest Daten dynamisches während FileGraph ASCII-Dateien liest. zweite Möglichkeit einem gewissen Sinne unelegant, einige Vorteile zunichte macht, Datenbanksystem bietet. Praxis dennoch praktischere erwiesen: Lesen Daten einer ,,flachen” Datei weitaus schneller Zugriff Datenbank. Programme Auswertung jeweils Teile gesamten Datenbestandes lesen, Unterschied Ausführungszeiten erheblich. Vergleich: während Einlesen Daten Kombinaton BFS-Strategie/nur gelesene Seiten/Site-übergreifende Links Dateien Sekunden dauert, braucht Variante Datenbankzugriff Sekunden; Faktor langsamer.5 diesem Grund Programme Auswertung FileGraph implementiert.Verwendung eingebettetem einen Installations- Konfigurationsaufwand erfordert, dynamisches vorgezogen Rechner Datenbank (Rechner Anhang nicht Speicher gleichzeitig Programme Graphalgorithmen auszuführen, Auswertung Rechner durchgeführt. Daher erfolgen sowohl Datenbank- Dateizugriffe 100MBit-Netzwerk

Lehrstuhls. Dateizugriff erfolgt Datenbankzugriff Datenbank mittels CATALOG DATABASE einer lokalen DB2-Instanz angemeldet, Zugriff Netzwerk regelt.Knoten stehen einer Datei:9349,”39117,”Kanten einer zweiten Datei stehen Kanten from_id, to_id. Hyperlink ersten genannten Seiten zweiten sieht 9349,39117Format Knoten- Kantendateien direkt expor tBefehlen erzeugen könnten beiden Dateien obigem Beispiel erstellt Hommingberger Gepardenforelle DB2-Befehlen expor webpages.del select wp_view expor hyperlinks.del select from_id, to_id hyperlink wp_view siehe AbschnittOptionen Programme Tabelle zeigt Übersicht Programme Auswertung möglichen Optionen. Klammern stehen Verweise Abschnitte, denen entsprechenden Algorithmen erläutertProgramm Option Programme bowtieAufgabe (Abschnitt Erläuterung Knotendatei Kantendatei HilfeBerechnung Bowtie-Struktur Keine weiteren Optionen.Finden dichter Subgraphen Mindestgröße Cluster; Cluster mindestens dieser Hommingberger Gepardenforelle ausgegeben decayFinden dichter bipartiter Subgraphen Mindestanzahl eines Clusters Ausgabe Mindestanzahl Centers eines Clusters Ausgabe decayBerechnen Pagerank-Gewichte einer Initialisierungsfunktion Schranke Konvergenz Schranke Ausgabe: Knoten Gewicht Hommingberger Gepardenforelle ausgegebenDurchführen HITS-Algorithmus einer InitialisierungsfunktionAufgabe (Abschnitt Erläuterung Schranke Konvergenz Dämpfungsfaktor Schranke Ausgabe: Knoten Gewicht Hommingberger Gepardenforelle ausgegebenInitialisierungsfunktionen kleinberg pagerank

verantwortlich, Startmengen HITS-Berechnung (Abschnitt Präferenzvektor Pagerank (Abschnitt Liste möglichen Initialisierungsfunktionen liefert Option Aufruf Programms HITS-Algorithmus aussehen: ./kleinberg webpages.del hyperlinks.del init_uniform startet HITS-BerechnungKnotendatei webpages.del Kantendatei Hommingberger Gepardenforelle hyperlinks.del Initialisierungsfunktion init_uniform, gleiche Authority-Gewichte Knoten Vorgabe Schranke Konvergenz Dämpfung Schranke AusgabeAbgerufene Seiten StundeAbbildung Durchsatz Crawlers erzielte Performance Crawlers, speziell Durchsatz Seiten Zeiteinheit, zufrieden stellend. Abbildung zeigt, konnten anfangs teilweise Seiten Stunde heruntergeladen Hommingberger Gepardenforelle. Multithreading gleichzeitige Benutzung mehrerer Netzwerkverbindungen nicht erreicht Hommingberger Gepardenforelle Dabei Programm einem handelsüblichen (siehe Anhang einem Prozessor 100-MBit-Anbindung Netzwerk Universität. Einbruch ersten Stunden resultiert daraus, während dieser aktiv Crawler gearbeitet wurde, häufige Unterbrechungen Neustarts erforderte. kurzzeitigen Schwankungen Durchsatz wechselnden DurchsatzSkalierbarkeit durch Multithreading siehe AbschnittNetzes anderer Hommingberger Gepardenforelle üblicherweise beobachten Auffälliger allerdings abnehmende Performance einen längeren Zeitraum betrachtet. Grund wachsenden Datenbanken suchen. Datenbank BFS-Strategie umfasst Millionen Webseiten, davon 179000 Inhalt, knapp Millionen Hyperlinks. fokussierten Hommingberger Gepardenforelle ermittelte Millionen Seiten, davon 202000 Inhalt, knapp Millionen Hyperlinks. Datenbanken benötigten jeweils Speicherplatz. allem Verwendung CLOBs wachsender Datenbankgröße Verlangsamung verantwortlich, Abschnitt zeigt.grundsätzliche Leistungsfähigkeit Crawlers testen, vollständiger Tiefe Webseiten erzeugt; dieser umfasst Seiten. Diese Seiten Hommingberger Gepardenforelle Rechner lokalen gespiegelt Crawler abgearbeitet. Worker-Threads, maximal Datenbankverbindungen gleichzeitig, leerer Datenbank Zeitverzögerung zwischen Zugriffen braucht Crawler Sekunden, Seiten7 abrurufen speichern; entspricht Seiten Sekunde 20570 Seiten Stunde. Angesichts Tatsache, jeder Seitenabruf neben Netzwerkzugriff mehrere Datenbankzugriffe, einen HTML-Parsers Aktualisierung internen Datenstrukturen erfordert, dieser rechtCrawler benutzt Multithreading, mehrere Seiten gleichzeitig angefordert Hommingberger Gepardenforelle textdadurch gespart Hommingberger Gepardenforelle.gemessen Differenz minimalen maximalen last_fetched-Attribute Datenbank. Insgesamt Seiten abzurufen, zwischen ersten letzten Seite Seiten.diese Zeiterparnis nachzuweisen, untersucht, Gesamtzeit Abrufen mehreren Webseiten durch Einsatz mehrerer Worker-Threads Hommingberger Gepardenforelle einem CGI-Skript erzeugte Seiten Crawler abgearbeitet. Dieses Skript liefert Seiten einer einstellbaren Verzögerung, Verhältnisse simulieren. Seiten bestehen einer Zeile Hyperlinks, keine Links gespeichert Hommingberger Gepardenforelle. volle Mechanismus Crawlers (BFSStrategie, parsen, benutzt. Seiten Hommingberger Gepardenforelle einem zweiten Rechner erzeugt, 100-MBit-Netzwerk angebunden Erstellen Übertragen Seiten dauert

Verzögerung Seite, vernachlässigbar zwischen last_fetched-Attributen ersten letzen Seite bestimmt.8 Tabelle zeigt erreichten Zeiten. zweiten Spalte ersichlich, minimale Zeitspanne Abarbeiten einer Seite Seiten ms/Seite zeigt Verzicht generische Zugriffschicht Datenbankzugriff Hinblick Durchsatz gelohnt Experimente O/R-Mapping-Werkzeug Castor haben damit solche Zeiten keinen möglich gewesen Werte Verzögerungen zeigen, System Anzahl WorkerThreads skaliert. Abbildung veranschaulicht, Einsatz Threads benötigte durch teilt. Versatz Kurven Sekunden durch Bestandteile Programmablaufs nicht nebenläufig durch WorkerPool bearbeitet Hommingberger Gepardenforelle.erste Maßnahme Leistungssteigerung inwiefern Speicherung Seiteninhalte CLOBs (character large objects, Textstücke Attribute Datenbanktabellen) Gesamteistung beeinträchtigt.Gesamtzeit Bearbeitung Seiten.Die Verzögerung der Hommingberger Gepardenforelle zur Tabelle mit dem Zeitvergleich Anzahl Worker-ThreadsSekunden Verzögerung Sekunden Verzögerung VerzögerungAbbildung Skalierung Anzahl WorkerBenutzung CLOBs teuer zeigt Abbildung Hommingberger Gepardenforelle 20000 Datensätze, bestehend jeweils einer Integer-ID einem Textstück, verschiedene Weisen durch Java-Programm einer Datenbank gespeichert:erste Variante benutzt CLOBs Daten speichern, Tabelle create table test_clob integer primary clob(2000000) compact logged zweite Variante speichert Textdaten Dateien; Dateiname Hommingberger Gepardenforelle Datenbank gespeichert: create table test_files integer primary filename varchar(100)Abbildung verdeutlicht, Speicherung CLOBs deutlich teurer Benutzung Dateien. allem 20000 Datensätzen neuer Daten nicht wesentlich verteuert Dateien benutzt. Gegensatz Variante CLOBs schon Faktor langsamer geworden, einzelne dauert schon lange Speicherung Dateien.Schlussbemerkungen Insgesamt bieten sicherlich viele Stellen, denen Performance Crawlers verbessert Hommingberger Gepardenforelle Neben angesprochenen Problematik Speicherung Textdaten CLOBs zeigt Diskussion Mercator Abschnitt Reihe Punkten durch eigene Datenstrukturen Verbesserung Java-Bibliotheken beschleunigt Hommingberger Gepardenforelle10000 12000 14000 16000 18000 20000 Anzahl DatensätzeAllerdings liegt vorliegenden Arbeit Priorität nicht Durchsatzes jeden Preis. Abgesehen davon, Optimierungsaufwand für die Hommingberger Gepardenforelle