Index · Default · Photosketch verwandelt Ihr Sketches in Fotomontagen

Photosketch verwandelt Ihr Sketches in Fotomontagen

2009-10-09 24
   
Advertisement
résuméWenn es gibt etwas in den Nachrichten über Fotografie, wie Stanford Open-Source-Kamera, ich bin in der Regel nicht der Erste, der über sie zu schreiben. Da habe ich einen Hintergrund in der sowohl Fotografie und Informatik, hoffentlich kann ich biete
Advertisement

Photosketch verwandelt Ihr Sketches in Fotomontagen

Wenn es gibt etwas in den Nachrichten über Fotografie, wie Stanford Open-Source-Kamera, ich bin in der Regel nicht der Erste, der über sie zu schreiben. Da habe ich einen Hintergrund in der sowohl Fotografie und Informatik, hoffentlich kann ich bieten einige einzigartige Einblicke in bestimmte Nachrichten Geschichten.

Die große Geschichte der vergangenen Woche wurde Photosketch, ein Forschungsprojekt aus der renommierten Tsinghua Universität in China. Der Anspruch ist, dass dieses Programm können Sie Ihre raue, markierte Skizzen von verschiedenen Szenen zu nehmen, und automatisch biegen sie in Fotomontagen durch die Kombination der entsprechenden Fotos aus dem Internet erhalten. Das folgende Video veröffentlicht auf Vimeo demonstrieren die Technologie hat über eine halbe Million Blick in der vergangenen Woche bekommen.

Key-Ideen

Es gibt zwei wesentliche Funktionen, die Photosketch zur Arbeit zu ermöglichen. Der erste Filtern unerwünschter Bilder in geeigneten zu erhalten, und das zweite ist ein neuartiger Mischalgorithmus, der einen nahtlosen Zusammensetzung schafft.

Die Schlüsselidee ist, dass der Benutzer des Programms tatsächlich viel von der harten Arbeit, was die Arbeit des Programms viel einfacher. Das Tolle ist, dass der Benutzer nicht einmal erkennen, sie tun eine Menge Arbeit. Ein ähnliches Beispiel könnte CAPTCHAs zu sein, um diese Sicherheitsschlüssel Sie eingeben überprüfen Sie ein Mensch sind. Es ist ziemlich trival für einen Menschen zu tun, aber (noch) sehr schwierig für einen Computer.

Ebenso Beschriftung der Semantik von einem Foto ist etwas, was sehr schwierig für Computer zu tun. Wenn Sie das Programm nicht-markierten Fotos gab, wie würde das Programm zu unterscheiden zwischen einem Mann griff nach etwas und ein Mann einen Ball zu werfen, wenn beide ähnliche Form und bilden? Ein Computer kann Formen und Farben zu bestimmen, hat aber eine unmögliche Zeit herauszufinden, die Bedeutung der Fotografien ohne menschliche Beteiligung.

Da der Benutzer sowohl eine Form und eine Label bietet, wird das Problem eine Form Matching-Problem, das ist nicht annähernd so schwierig. Das Programm ist nur durch die Bilder, die Menschen haben bereits als geeignet bezeichnet suchen.

Um es einfacher, die gewünschten Themen aus Fotos extrahiert, der Filterprozess tatsächlich wirft Bilder, die über keine klare, übersichtliche Kulissen. Zum Beispiel würde ein Tiger, die in Grasmischungen verworfen werden, wie es ein lego Stück unter vielen Legosteine. Dies macht Sinn, da wir wissen Aufgabe ist viel einfacher, von einem Foto zu isolieren, wenn es sehr deutlich vom Hintergrund ab. In Photoshop können Sie einfach den Zauberstab oder Schnellauswahl-Tools, um den Hintergrund zu eliminieren.

Photosketch verwandelt Ihr Sketches in Fotomontagen

Jetzt werde ich kurz beschreiben, die verschiedenen Schritte, die in die Herstellung des Programms Arbeit zu gehen.

Beschaffung der Hintergrund

Die wichtigste Beobachtung für die Auswahl eines Hintergrund ist, dass wenn Sie alle Bilder mit einem bestimmten Label (dh Strand, Gebirge, Wiese, etc ...), können Sie gruppieren sie nach Ähnlichkeit. Sie annehmen, dass die größte "Cluster" von ähnlichen Bildern ist wahrscheinlich, was der Benutzer wünscht, so dass sie 100 der Hintergrundbilder, die am ähnlichsten zu den Eigenschaften dieses Cluster zu wählen.

Dann nehmen sie diese 100 Bilder, und werfen Sie diejenigen, die nicht über die Horizontlinie an der richtigen Stelle. Mit den restlichen Bildern, filtern sie aus Bildern, die nicht gleichförmige Hintergründe, um saubere, offene Räume auf der Oberseite der die Artikelbilder platziert werden können haben. Am Ende dieser Phase halten sie etwa 20 Hintergrund-Bilder als mögliche Kandidaten.

Auswählen Szene Angebote

Photosketch verwandelt Ihr Sketches in Fotomontagen

Sobald Kandidaten Hintergrundgrafiken erhalten worden sind, sucht das Programm nach Bildern, die die Beschriftungen der Elemente in der Szene entsprechen. Wie bei Hintergrundauswahl, Bilder, die zu kompliziert oder zu überladen werden herausgefiltert sind. Die Einzelteile müssen sehr verschieden von dem Hintergrund für das Programm, um sie zu isolieren, um.

Das Programm vergleicht dann die extrahierten Elemente mit der Form der Benutzer zog, eine Form, wurde zur Verfügung gestellt. Bilder, die nicht übereinstimmen, werden verworfen, und diejenigen, die nicht entsprechen, werden wie im Hintergrund Auswahl Cluster zusammen. Bilder, die sowohl an die Form gut und sind Teil einer beliebten Cluster werden als Kandidatenbilder ausgewählt.

Mischen der Bilder

Die zur Herstellung der Kandidatenbilder verschmelzen neuartige Verfahren ist eigentlich einer der Forschungsschwerpunkte für dieses Projekt. Alles, was ich vor diesem Abschnitt erläutert ist nicht sehr bahnbrechende, während alles, was zu diesem Abschnitt ist zu kompliziert und technische leicht erklärt werden. Ich werde einfach sagen, eine Menge Arbeit geht in die Herstellung der Bilder nicht so völlig absurd gegen die ausgewählten Hintergründe.

Echt oder Fälschung?

Was ich lustig finde ist, wie viele der Kommentare rund um das Internet in Bezug auf Photosketch Anspruch, dass es gefälschte gefunden. Wenn es eine Fälschung wäre, wäre es eine der größten Hoaxes aller Zeiten sein, da die Untersuchung wurde an einer renommierten Universität durchgeführt und wird auch an der ACM SIGGRAPH Asia Konferenz im Dezember vorgelegt werden.

Allerdings bedeutet dies nicht das Programm ist so perfekt, wie die Video-Demonstrationen und Beispiele veröffentlicht es scheinen. Hier sind einige Beispiele aus dem Papier der, wenn das Programm erzeugt eine semantisch lächerlich Fotomontage:

Photosketch verwandelt Ihr Sketches in Fotomontagen

Alles, was automatisch generiert werden semantische Fehler, die absurd und nicht-sensical Bilder jeder so oft zu schaffen. Die von der Photosketch Gruppe versehen Beispiele sind lediglich Beispiele, wenn das Programm erfolgreich tut, was es tun soll (was hoffentlich recht oft). Ist es immer Bilder, die als schön aussehen oder machen so viel Sinn wie die Beispiele zu erstellen? Nein, aber die Beispiele geben einen guten Beweis für die Technik.

Abschluss

Photosketch ist eine ziemlich erstaunliche Idee, die ganze Aufmerksamkeit ist es immer verdient. Es ist auch ein Vorgeschmack dessen, was noch in Bezug auf Computer-Grafik-Technologien kommen. Ich bin sicher, wir werden mehr und mehr mindboggling Forschungsprojekte und kommerzielle Produkte in den kommenden Jahren zu sehen.

Obwohl die Gruppe arbeitet immer noch an einer Online-Demonstration, enthält der Website der Forschungsgruppe die Benutzerstudien und die Forschung Papier.

TOP

  • Day/
  • Week/
  • Original/
  • Recommand

Updated