Die visuelle Suchmaschine von Shutterstock könnte das Durchsuchen von Fotos weniger lästig machen - Fotografie - 2018

MyMundus - Deine persönliche Suchmaschine (Dezember 2018).

Anonim

Vielleicht etwas ironisch, wir sind es gewohnt, Fotos durch Text zu suchen. Auf der Suche nach einem Foto einer Katze? Geben Sie einfach "cat" in die Google-Bildersuchleiste ein und es werden relevante Fotos zurückgegeben (vorausgesetzt, sie wurden als solche gekennzeichnet). Keywords erfüllen die Aufgabe auf der grundlegendsten Ebene, aber was ist, wenn Sie nach einem bestimmten Fototyp suchen? Sie könnten "gelbe Katze" oder irgendeine Art von generischer Beschreibung eingeben, aber die Dinge werden schwierig, wenn die Beschreibung komplexer wird.

Um dies zu beheben, hat die Fotoagentur Shutterstock ein neues Tool namens Reverse Image Search eingeführt, mit dem Kunden ein Foto hochladen (bis zu 5 MB) und ähnliche Bilder finden können. Mithilfe von Computer Vision sagt Shutterstock, dass das Tool die Begrenzung der Metadaten durchbricht.

Neben Keywords "basiert die Technologie jetzt auf Pixeldaten in Bildern", schrieb Kevin Lester, Shutterstocks Vice President of Engineering, in einem Blogpost. "Sie hat unsere 70 Millionen Bilder und 4 Millionen Videoclips studiert, sie in ihre Hauptmerkmale zerlegt und erkennt nun, was sich in jedem einzelnen Bild befindet, einschließlich Formen, Farben und kleinsten Details; Diese visuellen und konzeptionellen Daten werden numerisch dargestellt. "

Obwohl diese Art der computerbasierten Suchtechnologie seit Jahren besteht (die Google-Bildersuche ermöglicht dasselbe), sagt Shutterstock im Vergleich zu ähnlichen Tools, die von anderen Fotodienstleistungen angeboten werden, dass die Technologie am raffiniertesten ist.

"Es ist nicht das erste, aber es ist das Beste auf dem Markt", sagt Lawrence Lazare, Shutterstocks Produktdirektor für Suchen und Entdecken.

Die großen Vorteile der Verwendung von Computer Vision sind Genauigkeit und Geschwindigkeit, und für Shutterstocks Kundenbasis löst es ein großes Problem mit der Suche. Es verringert die Zeit, die für die Suche nach einem Bild aufgewendet wird. Wenn Sie nach Inspiration oder etwas Generischem suchen, ist Metadaten (Schlüsselwörter) einfacher, sagt Lazare. Wenn Sie jedoch etwas Spezielles erstellen - zum Beispiel eine Werbekampagne - und Sie spezifische Anforderungen an das, was auf dem Foto sein muss, haben, sind die Wörter nicht so erfolgreich.

"Worte sind fehlbar - manche Bilder sind schwer zu beschreiben", fügt Lazare hinzu. "Manche Fotos erfordern eine kurze Beschreibung, und die Leute suchen nicht so."

Wenn Sie zum Beispiel "Sonnenuntergang" in die Suchleiste eingeben, erhalten Sie 14, 394 Seiten mit 1, 439, 383 Fotos, Illustrationen und Vektorgrafiken, die einen Sonnenuntergang darstellen. Und die Fotos hängen davon ab, ob der Fotograf Schlüsselwörter richtig hinzugefügt hat (manchmal verwendet ein Fotograf eine Reihe von Schlüsselwörtern, um eine Reihe von Fotos zu markieren, zB eine Hochzeit, aber dann können auch Fotos enthalten sein, die nicht verwandt sind).

Das Bild auf der linken Seite zeigt unterschiedliche Ergebnisse bei der Suche nach Schlüsselwörtern. Das Bild rechts zeigt visuell ähnliche Ergebnisse bei der visuellen Suche.

Sie können die Suchergebnisse eingrenzen, indem Sie zusätzliche Keywords wie "Stadt und Architektur" hinzufügen. Sie haben jedoch immer noch 140, 330 Optionen zum Durchsuchen. Es ist noch schwieriger, wenn das Foto in Ihrem Kopf Nuancen wie der Winkel eines Gebäudes oder die Farbe eines Sonnenuntergangs hat.

Aus diesem Grund sei die visuelle Ähnlichkeit nützlicher als die Keyword-Ähnlichkeit, sagt Lazare, aber diese Art der Suche erfordert viel maschinelles Lernen und es ist keine leichte Aufgabe. Wenn ein Bild hochgeladen wird, zerlegt es der Computer numerisch - auf eine Weise, die es verstehen kann -, so dass es die wichtigen Aspekte des Bildes vergleichen und kontrastieren kann. Der Computer muss es mit den Millionen von Fotos in Shutterstocks Archiv vergleichen, und zwar unglaublich schnell. Es dauert weniger als 20 Millisekunden, bis die Algorithmen 70 Millionen Bilder in Echtzeit vergleichen und kontrastieren. Für den Computer sind einige Fotos leichter zu entziffern, aber wenn Sie Dinge wie abstrakte Kunst oder Farben haben, ist es ein bisschen schwieriger, und der Computer gibt eher "falsche Positive" zurück.

Um seine Erfolgsraten zu erreichen, erforderte das von Shutterstocks Computern verwendete neuronale Netzwerk viel Training. Zu Beginn waren die ersten Versuche nicht gut, aber im Laufe der Zeit verbesserten sich die Antworten - was das eigene Lernen widerspiegelte. Lester, der sowohl die Suche als auch das Computer Vision Team beaufsichtigt, erzählte uns, dass es dem Unternehmen in etwa einem Jahr gelungen ist, von nichts zu etwas zu kommen, das gut funktioniert.

Aus unseren eigenen Experimenten (das Feature ist live und jeder kann es ausprobieren, indem es ein Bild hochlädt), können wir sagen, dass das visuelle Suchwerkzeug ziemlich gut ist. Obwohl es Probleme mit komplizierten Fotos gibt, ist es mit einfacheren Bildern erfolgreicher. Aber Shutterstock ist natürlich nicht das einzige Unternehmen, das eine visuelle Suchmaschine entwickelt: Über die Google-Suche haben wir gleich gute Ergebnisse erzielt, und viele Konkurrenten von Shutterstock bieten auch visuelle Suche an (obwohl Shutterstock uns eine ähnliche Technologie von Mitbewerbern gezeigt hat) behauptet, sie sind nicht so erfolgreich, daher ein Grund, warum sie beschlossen, es von Grund auf neu zu bauen).

Wir haben ein ziemlich kompliziertes Foto hochgeladen und den Computer ausgeschaltet. Es erkennt jedoch, dass es sich um eine Art von Architektur handelt.

Dies alles zeigt, wie weit Computer Vision und maschinelles Lernen in relativ kurzer Zeit gekommen sind. Und es wird nur noch besser: Shutterstock fügt seinem Netzwerk neue Tools hinzu, mit denen Benutzer seinen Computern Feedback über die Qualität der Suchergebnisse geben können, und wird in Kürze die visuelle Suche nach seinen vier Millionen Video-Footage-Assets enthüllen noch größere Herausforderung als statische Fotos.