TIP#2544: Jak funguje GPT4V/GPT4Vision, ChatGPT co umí “vidět”. Kde to najdu?

GPT4V/GPT4Vision je další dílek schopností ChatGPT 4 – přidává možnost nahrát obrázek (vyfotit fotku) a umělá inteligence se pokusí zjistit co v něm je a umožní vám pokračovat v konverzaci – můžete se ptát, rozvíjet, vymýšlet, hledat souvislost, chtít nějaké další věci.

GPT4V je součástí výchozí ChatGPT4 a je nutné mít Plus, tedy placenou verzi – nemůžete mít aktivovaný Browsing with Bing ani Dall E, prostě jen přepnout na Default kliknutím v menu schovávajícím se pod “GPT-4” nahoře. Můžete na mobilu, ale i počítači. 

Tím získáte možnost nahrát obrázek (na počítači) nebo nahrát obrázek a vyfotit (na mobilu). Udělejte to a poté můžete rovnou odeslat, případně můžete ještě doplnit rovnou co chcete.  Pokud nic nedoplníte, může být odpověď v angličtině. 

Co to umí

Rozpoznává objekt i objekty, může jich být i více. Mohou to být i jen určité části objektů. 

Umí rozpoznávat texty, umí i češtinu. 

Představte si GPT4V jako novou generaci Google Lens (Goggles), která nejen že umí rozpoznávat co na obrázku je (zda lépe ale zatím nevíme), ale dokáže to i více analyzovat a poté v konverzací diskutovat a řešit další návazné věci. 

Některé schopností jsou ale dost neuvěřitelné. Opravdu totiž můžete ChagGPT “namířit” na vaši ledničku a zeptat se co v lednici máte a ona vám to velmi dobře popíše, upozorní i na některé zajímavější věci. Následně nabídne (třeba) i to, že vám může navrhnout pár jídel i s recepty. 

Dokáže i velmi detailně popsat co na fotce/obrázku je, jaké jsou tam barvy, jestli tam někde jsou i texty kterých jste si možná ani nevšimli (třeba podpis autora)

Je to stále ChatGPT, takže se předpokládá, že se i na to co v obrázku/fotce je budete ptát. Třeba bude-li tam auto, tak se můžete zeptat “jakou barvu má auto”. 

Je možné nahrát více než jeden obrázek a ChatGPT je porovná a řekne jaké jsou v nich rozdíly. 

Podrobné popisky můžete použít jako vstup pro DALL E 3. O vytvoření promptu můžete i požádat, ale (bude o tom samostatný tip) prompt je velmi krátký a spíše nedostatečný – míněno pro to, abyste nahráli obrázek/fotku a nechali si vygenerovat “totéž” v DALL E 3.

Co dál ještě umí?

• Přečíst a vysvětlit grafy, infografiky

• Z fotky více mincí či bankovek vám řekne kolik mají celkem hodnotu
• Pozná filmy, herce
• Pozná jídlo či pití a umí k němu dodat i recept
• Zvládá i flóru a faunu a předměty, atd 
• Umí poznat místa, města, pamětihodnosti, ale jsou tu nějaká “bezpečnostní” omezení a možnosti omezené tím, že to místo musí znát 

• Poradí i zlepšení obrázku, můžete diskutovat estetiku
• Poskytnout kontext, pokud je tedy nějaký možné odhalit

• Pro předmět v obrázku umí definovat jeho umístěním v pixelech
• Dokáže poznat rovnice a vůbec další matematické věci
• Umí přečíst tabulku a poskytnout v tabulkové formě
• Předložíte-li UI/web mockup, tak ho také umí analyzovat i zpracovat (níže na mockupu od WireframeSketcher, zda to ale funguje můžete zkusit sami)

Co neumí?

• Odmítá pracovat s obličeji lidí. Odmítá občas i vůbec pracovat s fotkou člověka, ale dá se to obejít tím, že ji řeknete ať vynechá konkrétní osobu a použije abstrakci typu “mladá žena” (například). 

• Odmítne i jakkoliv hodnotit vzhled lidí
• Není možné použít pro řešení Captcha 
• Prozatím není možné chat sdílet, stejně jako není možné sdílet DALL E 3 chaty
• Obrázky neumí zpracovávat, tedy žádné úpravy, změny, barvy, filtry

Pozor na opravdu komplexní obrázky, čas od času se zpracování zakucká. Ale na druhou stranu dokáže vytahovat řadu detailů.

Další tipy týkající se ChatGPT

AI ChatGPT Software Umělá inteligence