AI credits apokalypsa

 Ako všetci vieme ceny providerov služieb LLM modelov radikálne rastú ... Či už je to Claude alebo, teraz naposledy, Github Copilot od Microsoftu.

A to radikálne. Podľa rôznych scenárov je to aj desať násobok , dokonca ja viac, a "free" modely zanikli.

Prečo ? Nuž pretože stále nemáme, teda "svet", dostatočne výkonný hardvér pre pre prevádzku LLM modelov podľa požiadaviek používateľov. A ten rozdiel je radikálny.

Ako si to predstaviť. 

Na súčasnom bežnom hardware, teda "PC" , si môžete spustiť "lacné" modely, teda tie ktoré poskytovatelia označujú ako "lacné", teda rôzne mini verzie "normálnych", pričom pobežia tak 10 násobne pomalšie.

Stredné modely si môžete spustiť na špecializovanom HW, niečo ako tie najdrahšie pc. Top modely nemáte kde spustiť.

A teda logicky obdobie nízkych cien bol len marketingom veľkých firiem a muselo sa skončiť. Akcionári totiž nemajú radi červené čísla, a hlavne v tedy keď ide miliardy ...

Takže "prišiel na psa mráz".

Čo teraz ?

Teraz sa udeje:

1. Majorita si skúsi pustiť model lokálne
1. a zistí že to nemá význam , iba ak pre jednoduchých lokálnych agentov a hranie sa
2. Tí čo naozaj na LLM modeloch závisia sa budú snažiť
1. optimalizovať používanie modelov a použiť tie menšie , lacnejšie, ale viac halucinujúce modely. A zistia že tak sa dá vyriešiť máločo
2. radikálne obmedzia používanie drahých modelov. ale aj tak ich použijú
3. Skúsia si kúpiť hardware - ale to bude naozaj menšina keďže HW je teraz naozaj drahý a umožní tak spustienie stredných modelov
4. Skúsia si prenajať lacnejší hardware
1. lenže zistia že dostanú len stredný model a veľa otázok o security
5. Skúsia si prenajať drahý hardware ... a začnú tlačiť na firemné vedenie nech radšej kúpi drahý hardware ...
6. Nakoniec aj tak skončia u výrazne drahších predplatných a ... aj tak si kúpia hardware
3. Akcie výrobcov inference čipov  a památí ďalej porastú ...
4. SAS apokalypsa sa spomalí
• pretože sw development sa všeobecne spomalí ...
5. Výrobcovia "free" modelov z Číny "vyžerú" trh ešte viac ako doteraz ...
6. Výrobcovia modelov z USA ... sa pokúsia ponúknuť menšie modely a vôbec im to nepomôže ... (MS s tým už začal)
• a neponúknu lokálne hostovanie a neponúknu .. ani za nič

Nuž a kedy sa to ustáli ? ... Dovolím si predpovedať že až na budúci rok na jeseň uvidíme ochladenie. Teda Q4 2027, a že až v Q4 2028 bude bežne možné si kúpiť vhodný hardware alebo rozumné predplatné ...