Esperienze con LLM

[oldfart5070]

Fin dal primo uso di ChatGpt, non riesco a scrollarmi di dosso l'impressione che un LLM sia poco piu' di Antani-as-a-service. In superficie le risposte sono belle, ricche, ben scritte. Poi vai a vedere i contenuti e la massa di vaccate che ci trovi dentro e' spaventosa. Il problema e' che e' random. E questo succede quando fai scrivere di qualcosa che sai. Pensa a quello che succede quando fai fare al LLM qualcosa che non sai fare. Li uso, ma in modo estremamente controllato e validando ogni dettaglio del loro output.

[somedude]

oldfart5070 said in Esperienze con LLM:

In superficie le risposte sono belle, ricche, ben scritte.

"Risposte".
Il che implica che il prompt sia una domanda.
Magari una domanda aperta, ampia.

Nella mia esperienza così, effettivamente, funzionano di merda.

Invece, "fammi uno script che estrae solo le righe che soddisfano la data proprietà da questo CSV e convertile in JSON" va come un treno.

E sì, l'output si deve poter validare, altrimenti non serve veramente a un cazzo.

Riflettendoci, viene da pensare che gli LLM sono ottimi specificamente per

1. manipolare informazione da e verso quei linguaggi che sono particolarmente ostici all'umana comprensione, pur non avendo enormi difficoltà intrinseche.
   awk, tipo. È "semplicissimo" ma porcodio mille volte poter esporre il problema in natural language (sia pure pedante e pleonastico).

2. costruire produzioni in linguaggi che sono difficili o onerosi da scrivere a mano ma facili da leggere staticamente (non so, qualche XML del cazzo), o altrimenti verificare dinamicamente (di nuovo il fottuto awk)

[absc]

somedude

Ma sul serio avete problemi con AWK?

Non oso chiedere delle espressioni regolari allora....

[somedude]

absc Ma pure le regexp: metti che nella vita reale uso lo specifico dialetto una volta all'anno.

È automatico che avrò un overhead stellare.

Niente, naturalmente, di intrinsecamente difficile, solo che se non lo fai ogni giorno (o ogni mese) viene difficile.

Qui vengono utili gli LLM: rimuovono tutto quel overhead non intrinseco.

Vale anche per la produzione in qualsiasi linguaggio, peraltro: del francese ho perso tutta l'abilità produttiva per mancanza di esercizio, ma riesco a leggere senza problemi.

Con un LLM (o, beh, Google Translate) posso anche produrre velocemente senza per questo prendere per buone eventuali allucinazioni come farebbe qualcuno che la lingua non la sa e basta.

[teflon]

non uso awk da prima del 2000, non pensavo che avrei trovato addirittura 2 persone che sanno cosa sia oggi.

[absc]

teflon

Beh, per fare data processing awk funziona alla grande.

Io l'ho sempre usato e onestamente, il mi sparo piuttosto che toccare qualcosa come
Python.

C'è troppa gente che dice di conoscere Linux/Unix senza aver mai studiato a dovere la shell e gli strumenti di base.

[absc]

somedude

POSIX extended al massimo.

La merdata che sono le perl compatible mi ha sempre fatto cacare (sono illogiche ed astruse).

[somedude]

absc Pensavo che "conoscere Unix" volesse dire "conoscere la shell e gli strumenti di base" che stanno sotto /bin e si possono incollare insieme.

Ecco, vedi, a questo proposito: io penso di "conoscere Unix" nel senso che so cosa va pipato in cosa per risolvere un certo problema.

Ma quindici-venti anni fa mi ricordavo tutto a memoria (la stinassi di sh, sed, awk, grep, diff, eccetera, la struttura di /proc e via dicendo), oggi no, non a un livello sufficiente da produrre one-liner al volo, che era esattamente la destinazione d'uso intesa da K&R e soci.

L'LLM mi è utilissimo per rimpiazzare i miei neuroni persi per strada.

Python lasciamolo stare, risponde a bisogni completamente diversi.

[absc]

somedude

E con gli LLM preparati a lasciare ancora piú neuroni per strada...

[Aethiss]

teflon 3 allora. Anche se imho saranno 20 anni che non lo uso. E penso di averlo dimenticato del tutto eheh

[teflon]

somedude said in Esperienze con LLM:

Python lasciamolo stare, risponde a bisogni completamente diversi.

per il data engineering e' piu' o meno una pandas (no! ahia! va bene la smetto...)

[teflon]

Aethiss ho gli amarcord di quando usavo awk per generare codice c++ dai file txt con le specifiche di una gui che avevo implementato in modo totalmente testo per un programma che girava in DOS che avevo fatto con il C++ 7.0 di Microsoft (l'ultimo prima dei visual studio che giravano in windows)

[somedude]

absc Figurati: se quando arrivo alla pensione mi ricordo ancora come si usa awk pretendo una lobotomia dall'INPS.

In questo senso questi cosi mi sembrano ottimi per sostituire il junior scemo che fa i lavori sporchi (e impara a usare awk facendoli), dando al senior (la cui prossima futura meta è la pensione) uno strumento per fare prima e meglio.

[teflon]

chatgpt.awk

[ilbistecca87]

teflon Siamo già abbondantemente oltre il break even, oppure ho lavorato con tutti gli indiani sbagliati.

[Aethiss]

ilbistecca87 said in Esperienze con LLM:

Siamo già abbondantemente oltre il break even, oppure ho lavorato con tutti gli indiani sbagliati.

secondo me ancora no, a meno che erano davvero delle capre quelli con cui hai lavorato

[yogsothoth]

Nel mio ambito (genetica della fauna selvatica) mi sta aiutando molto, anche se l'uso che ne faccio è sicuramente limitato..ma ho scritto script, macro o pacchetti di R per simulazioni popolazionistiche o per migliorare l'efficienza lavorativa (che ne so pipeline o automatizzazioni). Dall'altro lato con gli articoli scientifici mi aiuta a rivedere l'inglese, a togliermi dal problema "foglio bianco" producendo bozze sulla base di appunti su cui poi lavorare. Proprio in questo periodo sono stato inserito in un gruppo di lavoro che ha lo scopo di integrare gli algoritmi di IA in una serie di analisi di landscape-genetic/genomic con CINECA. E' un terriorio per noi ancora di frontiera a cui stiamo cercando di affacciarci.

[teflon]

yogsothoth said in Esperienze con LLM:

integrare gli algoritmi di IA in una serie di analisi di landscape-genetic/genomic con CINECA

domanda da profano: utilizzate LLM oppure sistemi di AI specifici addestrati per il vostro ambito?

[yogsothoth]

teflon

quasi sicuramente saranno algoritmi specifici addestrati con dati che abbiamo. L'idea è di addestrare l'algoritmo con dati storici relativi ad esempio a distribuzione, variabilità genetica o altro di una specie target e facendolo lavorare integrando dati geografici (sovrapposizione di tante tipologie di cartine tipo, vegetazione, orografia, uso del suolo, strade etc..) per fargli inferire copme evolverà la popolazione di quella specie su alcuni parametri che noi oggi conosciamo già fino a quando non ci "beccherà" con sufficiente precisione, per poi aiutarci a prevedere dinamiche future per intraprendere azioni più efficienti.

Ma l'aspetto informatico è ancora tutto da sviluppare dai partner, siamo proprio al proof of concept ancora. Però l'idea sarebbe poi di integrarlo con i LLM per poter usare linguaggio naturale per "chiedere" determinate informazioni sulla base dei dati

[amigaunicorn]

teflon la seconda che hai detto, ma sulla scia dei primi. Nel senso che gli LLM hanno creato la domanda di AI, poi in generale la cosa che si vende di piu' sono le reti neurali ricorsive.