Jak hodnotím AI nástroje, aby mě neunesl hype

Nový AI nástroj dnes často vypadá skvěle během prvních pěti minut. Umí hezké demo, má rychlé odpovědi, slibuje agentní workflow a působí jako něco, co člověku okamžitě ušetří polovinu týdne.

Jenže většina hodnoty se neukáže v demu. Ukáže se ve třetí hodině používání, když potřebuju opravit chybu, dohledat zdroj, navázat na starší kontext nebo dostat výstup do formátu, který opravdu používám.

První otázka: co přesně má zmizet?

Nástroj nehodnotím podle toho, co umí obecně. Hodnotím ho podle toho, jaký konkrétní třecí bod má odstranit.

Například:

• zrychlit první draft článku,
• převést diktát do použitelné struktury,
• projít repozitář a najít místo změny,
• připravit rešerši bez ztráty zdrojů,
• udělat rutinní publishing checklist.

Pokud neumím pojmenovat tření, které mizí, pravděpodobně testuju hračku, ne pracovní nástroj.

Druhá otázka: co přibude?

AI nástroj nikdy jen nešetří čas. Vždycky také něco přidává: kontrolu výstupu, ladění promptů, správu kontextu, riziko halucinací, nové místo v procesu.

Proto si u každého nástroje píšu dvě krátké poznámky:

1. Co mi ubral z práce.
2. Co mi do práce přidal.

Dobrá výměna je taková, kde zmizí mentálně drahá práce a přibude jen lehká kontrola.

Třetí otázka: funguje i na druhý den?

První použití je špatný test. Skutečný test je opakovatelnost. Vracím se k nástroji druhý den? Pamatuju si, proč jsem ho otevřel? Vím, kam patří v mém workflow?

Když nástroj neumím zařadit do jedné věty, obvykle u mě nepřežije.

Dobrý AI nástroj není ten, který vypadá nejchytřeji. Je to ten, který změní konkrétní kus práce tak, že se k němu přirozeně vracím.

Announcing the YC AI Stack
Y Combinator

Téma AI nástrojů a kreditů pro devtools beru jako připomínku, že výběr stacku není jen technická otázka. Je to otázka pracovního postupu.

Můj minimální test

Když testuju nový nástroj, dám mu jednu reálnou práci. Ne ukázkový prompt, ne prázdné cvičení. Něco, co bych stejně musel udělat.

Pak si zapíšu:

• vstup,
• výstup,
• čas,
• počet oprav,
• místo, kde jsem ztratil důvěru,
• jestli bych to příště otevřel znovu.

To stačí. Nechci si dělat laboratoř z každé aplikace. Chci jen rychle poznat, jestli nástroj patří do praxe.

Praktický závěr:
AI nástroje je lepší hodnotit podle odstraněného tření než podle schopností v demu. Pokud neumím říct, co přesně se mi zjednodušilo, nástroj zatím nevyhrál.