>>64248> Lo sono? Cioè, l'utente non sarei sempre e comunque io, quindi con un conteggio unico dei token? Magari non ho capito niente. Per ora è veramente solo brainstorming pre-studio.Mi sa che ti manca qualche passaggio che ora proverò a spiegarti.
Lo scenario che immagino è una app che tu distribuirai in modo da poter essere utilizzata da N utenti.
Ora l'utente X la apre e inizia ad utilizzarla. Lato utente ovviamente non devono mai partire chiamate dirette alle API di ChatGPT: questo perché serve l'autenticazione al tuo account, quindi se lo fai te la potrebbero fottere analizzando il traffico di rete. Insomma, è una roba da negri assoluti che mi sembra anche scontatissimo dirti che non si fa mai. Quello che la tua app deve fare invece è una chiamata a un tuo server remoto, inviandogli il testo. Il tuo server prende questo testo, ne calcola i token (magari usa proprio l'endpoint per sapere quanti sono) e se lo salva in memoria (una variabile per capirci, ma probabilmente ti conviene anche mantenerlo in un DB), aggiornandolo di volta in volta. Oppure prende il conteggio dalla response dell' API, se c'è, o se invece c'è da qualche parte, nella response o chiamando un altro endpoint, il numero di token che hai disponibili prima di consumare tutto il credito. Insomma non mi ricordo come abbiano implementato questa roba ma il succo è che ti serve sapere quanto stai consumando e un modo c'è al 100%.
Appena ti arriva una chiamata da una delle app e il conteggio token supera il limite che hai deciso tu allora non fai una chiamata alle API di ChatGPT e rispondi con un errore. O se si avvicina rispondi con un codice particolare e la tua app lo gestirà per avvisare l'utente. Insomma qui ti puoi sbizzarrire su come implementare la cosa ma il punto è che ti serve un server che faccia da middleman. Se vuoi anche implementare dei limiti per singolo utente potresti fare che al momento della prima apertura viene generato e salvato (per esempio) un UUID randomico così al tuo server oltre che il testo invii anche questo e tieni traccia dei limiti anche per singolo utente.
In ogni caso, a giudicare dall'altro anon sembra esserci la possibilità di impostare un hard limit mensile, per cui magari di questo potresti anche evitare di tenere traccia e gestire la response delle loro API che sicuramente sarà diversa quando non ci sono più token.
Spero di aver passato il concetto.
Sì, il funzionamento della app che mi hai illustrato è ottimo in quanto non richiede conversazione quindi consuma sicuramente meno.
E sì, è una puttanata super easy. Non devi neanche fare le chiamate a mano. A meno che tu non abbia intenzione di scrivere in qualche linguaggio hipster del cazzo e della merda ci stanno già un bordello di librerie su GitHub pronte da utilizzare.