Deze camera ruilt afbeeldingen in voor AI-poëzie

Heb je ooit voor een sequoia gestaan ​​en je afgevraagd: “Zou het niet geweldig zijn als dit poëzie was in plaats van een boom?” Dat deed hij ook niet Joyce Kilmer. Kelin Carolyn Zhang en Ryan Mather zijn echter van plan de kloof tussen AI-technologie en poëzie te overbruggen met hun boeiende geesteskind: de Poëziecamera. Het open source-apparaat combineert geavanceerde technologie met artistieke visie, resulterend in een creatie die de grenzen van beide velden verlegt.

Op het eerste gezicht lijkt de Poëziecamera een zoveelste gadget in het steeds evoluerende landschap van digitale apparaten. Bij nader inzien wordt echter duidelijk dat dit geen gewone camera is. In plaats van alleen maar beelden vast te leggen, tilt de Poetry Camera het concept van fotografie naar nieuwe hoogten door tot nadenken stemmende poëzie te genereren (of, nou ja, zo tot nadenken stemmend als AI-poëzie maar kan zijn) op basis van de beelden die het tegenkomt.

Zhang en Mather, de meesterbreinen achter dit project, hebben hun expertise op het gebied van technologie en kunst naadloos gecombineerd om een ​​technisch indrukwekkend en esthetisch boeiend apparaat te creëren.

Het verhaal van de Poëziecamera begon als een persoonlijk passieproject voor Zhang en Mather, die gefascineerd raakten door het idee om hun liefde voor technologie te combineren met hun waardering voor kunst. In de beginfase van de ontwikkeling hebben ze talloze uren besteed aan het sleutelen aan verschillende componenten en het experimenteren met verschillende AI-modellen om hun visie tot leven te brengen.

“De oorsprong van het project ligt in het moment dat ik toegang kreeg tot GPT-3. Mijn eerste instinct was om er Dungeons & Dragons mee te spelen omdat ik een nerd ben. Ik dacht: ‘Als dit ding Dungeons & Dragons zou kunnen spelen, zou dat indrukwekkend zijn.’ En ja, daarvoor werkte het wel. Dit was nog in de tijd dat je snelle engineering moest doen. Er was dus wat elleboogvet nodig om het werkend te krijgen. Maar ik had ook het idee om misschien een camera als project te maken”, zegt Mather. “Wat als je een camera zou nemen, maar deze een reactie zou zijn op de Instagram-cultuur? Wat als er tekst verschijnt in plaats van een foto? … Iedereen geeft de voorkeur aan de boekversie boven de film, dus zo is het ook voor het vastleggen van momenten.”

Terwijl ze hun prototype verfijnden, begonnen Zhang en Mather hun creatie op sociale bijeenkomsten met vrienden en familie te delen. De reacties die zij kregen waren ronduit verbazingwekkend. Mensen waren gefascineerd door het concept van een camera die poëzie kon genereren op basis van wat hij zag. Het apparaat werd al snel het middelpunt van de belangstelling, wat tot levendige discussies leidde en de verbeelding aanwakkerde van iedereen die ermee in aanraking kwam.

Deze eerste reacties waren een krachtige motivator voor Zhang en Mather om hun uitvinding verder te verfijnen. Ze realiseerden zich dat de Poëziecamera het potentieel had om de kloof tussen technologie en kunst te overbruggen op een manier die mensen aansprak. Terwijl het bericht van de Poetry Camera zich verspreidde, werd het duo overspoeld met vragen van nieuwsgierige mensen die het apparaat graag zelf wilden ervaren. Deze interesse bracht hen ertoe de mogelijkheid te overwegen om hun project om te zetten in een potentieel commercieel product, waardoor de magie van de Poëziecamera toegankelijk zou worden voor een breder publiek.

De technologie

De kern van dit innovatieve apparaat wordt gevormd door een Raspberry Pi, een single-board computer ter grootte van een creditcard die krachtig is. Dit kleine maar krachtige onderdeel fungeert als het brein van de Poëziecamera, waardoor deze beelden kan vastleggen en kan communiceren met OpenAI’s GPT-4 om poëzie te genereren.

Een Raspberry Pi legt het beeld vast en gebruikt vervolgens computer vision-algoritmen om de visuele gegevens te analyseren. De AI-modellen interpreteren vervolgens het beeld en identificeren de belangrijkste elementen, kleuren, patronen en emoties binnen het frame. Deze informatie dient als basis voor het poëziegeneratieproces.

Zhang richtte de camera op ons Zoom-interview:

En daar kwam een ​​gedicht uit:

Het gedicht gegenereerd en afgedrukt door Poetry Camera (hieronder getranscribeerd). Beeldcredits: Poëziecamera

Achter de lens past een man zijn blik aan,
Binnen de vierkante grenzen van de pixelruimte.
Ingezoomd op gezichten die zich op een virtuele plek bevinden,
Al lang geleden uit de ratrace vertrokken.

Daglicht filtert door vervaagde ruiten,
In zijn hand stuurt lauwe koffie.
Gesprekken drijven over virtuele grenzen heen,
Zijn spiegelbeeld gespiegeld, verschijnt op het scherm.

Op de plank leunen boeken, stil gebabbel,
Een bloeiende plant, de enige levende materie.
Met een bril op, wordt thuis zijn rustige slagman,
Binnen deze muren viel zijn wereld uiteen.

Op deze aprilochtend in 2024,
Een nieuwe normaliteit, stilletjes gedragen.

Een gedicht van @poëzie.camera

Zhang theoretiseert dat de verwijzing naar ‘vertrokken uit de ratrace’ een verwijzing is naar mijn Hawaiiaanse shirt.

De uitvinders vertellen me dat de uitvoer van de Poëziecamera niet beperkt is tot één enkel formaat. Omdat het apparaat open source is, kunnen gebruikers kiezen uit verschillende poëtische vormen – zoals haiku, sonnet of gratis vers – afhankelijk van hun voorkeuren en vermogen en bereidheid om betrokken te raken bij de broncode.

Terwijl de Poëziecamera zich blijft ontwikkelen, onderzoeken Zhang en Mather nieuwe manieren om de mogelijkheden ervan te verbeteren. Ze verfijnen en selecteren voortdurend de AI-modellen, breiden de aanwijzingen van het apparaat uit en experimenteren met geavanceerde natuurlijke taalverwerkingstechnieken. Het doel is om een ​​apparaat te creëren dat poëzie genereert en een betekenisvolle dialoog aangaat met gebruikers, waardoor een diepere verbinding tussen technologie en kunst wordt bevorderd.

Het kruispunt van kunst en technologie

De Poetry Camera is een bewijs van het ongelooflijke potentieel op het snijvlak van kunst en technologie. Door de kracht van AI en machine learning te benutten, hebben Zhang en Mather een apparaat gecreëerd dat niet alleen de schoonheid van de wereld om ons heen vastlegt, maar deze ook interpreteert op een manier die verrassend ontroerend kan zijn. Als technologie is het eenvoudig, maar ik vind het geweldig hoe toegankelijk Poetry Camera dingen maakt. Het wordt zo gemakkelijk om te durven dromen en de grenzen te verleggen van wat technologie kan bereiken.

Schermen domineren ons dagelijks leven; de Poëziecamera biedt een verfrissende afwijking van de norm. In plaats van te vertrouwen op een digitaal display om de poëtische resultaten ervan te laten zien, maakt het apparaat gebruik van een meer tactiele en meeslepende interactiemethode. De gegenereerde gedichten worden op papier gedrukt, waardoor een fysieke belichaming van de artistieke ervaring ontstaat. Het tijdelijke karakter van de kunst wordt met Poetry Camera behoorlijk ver doorgevoerd.

Nog een voorbeeldgedicht. Beeldcredits: Poëziecamera

“We bewaren geen enkel beeld of gedicht digitaal. Daar zijn een paar redenen voor: Ten eerste is het gemakkelijker. Twee: privacy. Ten derde voegt het extra betekenis toe aan de gedichten als ze op dit kortstondige soort artefacten lijken. Als je het kwijtraakt, is het weg”, legt Mather uit. “Iedereen heeft nu een camera in zijn zak via zijn mobiele telefoon – we wilden iets heel anders doen.”

We hebben nieuwe gebruikersinterfaces gezien met producten als Plaud en de Humane Ai Pin – en dit apparaat gaat op dezelfde voet verder. Het stelt gebruikers in staat zich los te maken van het constante spervuur ​​van visuele stimuli en op een meer bewuste en contemplatieve manier met de creaties van de Poëziecamera om te gaan. Niet om helemaal kunststudent te worden, maar de diepgewortelde ervaring van het in mijn handen houden van een gedrukt gedicht is een uitnodiging om na te denken over de woorden, de schoonheid van de taal te waarderen en een diepere verbinding met het kunstwerk te vormen.

De ontwerpfilosofie reikt verder dan het apparaat en beïnvloedt de gehele gebruikerservaring. Zhang en Mather hebben de Poëziecamera zorgvuldig ontworpen om een ​​gevoel van verwondering en ontdekking te bevorderen. Het vastleggen van een afbeelding, wachten tot de AI een gedicht genereert en vervolgens de afgedrukte uitvoer ontvangen, creëert een gevoel van anticipatie en verrassing, waardoor de algehele betrokkenheid bij het apparaat wordt vergroot.

Een weerspiegeling van de toekomst van AI en personal computing

De ontwerpfilosofie van Zhang en Mather voor de Poetry Camera weerspiegelt hun bredere visie op de toekomst van personal computing en AI. Zij zijn van mening dat technologie naadloos in ons dagelijks leven moet worden geïntegreerd en onze ervaringen moet verbeteren zonder ons te overweldigen met constante prikkels. Door een apparaat te creëren dat prioriteit geeft aan eenvoud en artistieke expressie, dagen ze de status quo uit en maken ze de weg vrij voor een nieuw technologietijdperk.

“Ik denk dat poëziecamera’s een microkosmos zijn van wat er met AI in veel industrieën zal gebeuren. Poëziecamera’s zijn anders dan een traditionele discipline: je hebt nog nooit iemand ontmoet die zegt: ‘Oh, ik ben een poëziefotograaf voor bedrijfsevenementen’, lacht Zhang. Poëzie Camera’s bevinden zich tussen dit gevestigde vakgebied van fotografie en poëzie. Het is een nieuw, raar ding. Het allerbelangrijkste is dat het leuk is om te zien hoe mensen met hen omgaan: mensen vinden kinderlijke vreugde in hun speelse persoonlijkheid.”

Wat is het volgende?

Terwijl de Poetry Camera het publiek blijft boeien en buzz genereert, denken Zhang en Mather zorgvuldig na over de toekomst van hun innovatieve creatie. Hoewel het apparaat begon als een persoonlijk passieproject, hebben de overweldigend positieve reacties ertoe geleid dat ze de mogelijkheid hebben onderzocht om het commercieel beschikbaar te maken voor een breder publiek.

“Na de eerste honderd keer dat mensen ernaar vroegen, zeiden we: ‘We verkopen het niet’, maar na 101 vragen begonnen we er dieper over na te denken en vroegen we ons af of we het beschikbaar moesten maken voor mensen”, overweegt Zhang. “Maar tegelijkertijd is het een kunstproject, weet je? Onze eerste reactie was om het kapitalisme er buiten te laten.”

Maar trouw aan hun toewijding aan duurzaamheid en bewuste consumptie, nemen Zhang en Mather de tijd voordat ze overhaast overgaan tot massaproductie. In plaats daarvan kiezen ze voor een meer afgemeten aanpak, met het potentieel voor beperkte productdalingen waarbij kwaliteit boven kwantiteit wordt gesteld. Door het productieproces zorgvuldig te controleren, willen ze ervoor zorgen dat elke Poetry Camera met de grootst mogelijke aandacht voor detail wordt vervaardigd en voldoet aan hun hoge normen voor prestaties en duurzaamheid.

Ik daagde het team uit om een ​​hardwareproduct te moeten kopen: telefoons hebben camera’s, internetverbindingen en schermen. Zou het niet duurzamer zijn om hardware te gebruiken die al bestaat?

Nog een voorbeeldgedicht, met op de achtergrond de persoon die het heeft geïnspireerd. Beeldcredits: Poëziecamera

“Het meest duurzame zou zijn om helemaal niets te maken”, beaamt Zhang. “Maar we zijn hier in eerste instantie mee begonnen een open source doe-het-zelf-project, en we hadden alle instructies online; het was alleen zo dat het moeilijk is voor mensen om alle verschillende benodigde onderdelen te verzamelen. Aanvankelijk speelden we met het idee om een ​​kartonnen behuizing te maken. Maar ik heb gemerkt dat een deel van wat ervoor zorgt dat mensen er dol op zijn en ermee willen spelen, het soort Poké Ball-gepolijste productesthetiek is. Ik denk dat als de Poëziecamera in zijn meest volledige vorm tot leven wil komen, het een gepolijst product moet zijn. Ik weet niet hoe ik het met duurzaamheid in het achterhoofd moet aanpakken, maar het is belangrijk voor ons.”

Vooruitkijkend stellen Zhang en Mather zich een toekomst voor waarin de Poëziecamera niet alleen een nieuwigheidsapparaat is, maar ook een katalysator is voor verandering in de manier waarop we omgaan met technologie en kunst. Ze hopen dat hun creatie anderen zal inspireren om het snijvlak van deze twee velden te verkennen, de grenzen van wat mogelijk is te verleggen en nieuwe vormen van expressie te creëren.

Ik hou ervan om in een wereld te leven waar enthousiaste hobby’s kruisen met kunst en technologie, en dit project past perfect in dat Venn-diagram.

“Voor mij blijft dit kunst, omdat het om expressie gaat. Het is een voertuig voor het vormgeven van een wereld die we willen zien, een wereld waarin mensen met deze nieuwe technologie kunnen spelen: AI is niet alleen maar kommer en kwel. En het gaat niet alleen om AI die mensen op een diepere, snellere en slechtere manier nabootst”, besluit Zhang. “Het gaat erom iets geheel nieuws te maken met de nieuwe technologie en dat innerlijke kind weer naar boven te halen. Bij dit project gaat het niet om geld verdienen, maar om het opnieuw mogelijk maken van dat kinderlijke wonder.”

Als je de camera in actie van dichterbij wilt bekijken, TikTok lijkt de beste hulpbron.