Esperienze con LLM

[teflon]

ero tentato di fare un sondaggio, ma gli aspetti sono talmente tanti che e’ decisamente meglio aprire una discussione.

Qual e’ il vostro rapporto con i LLM?

Li usate? quanto? fanno gia’ parte del vostro workflow quotidiano? vi ruberanno il lavoro?

Ho iniziato per curiosita’ a giocare con chat-gpt 3 gratuito, poi ho inziato a usare copilot per fare script powershell in visual studio code, per cui mi sono abbonato su github e infine qualche mese fa, dovendo fare un lavoro di documentazione piuttosto noioso, mi sono abbonato anche a chat-gpt.

Quindi ora uso copilot in visual studio code e visual studio 2022, e praticamente per tutto anche chat-gpt.

Con chat-gpt mi trovo molto bene per la protipazione rapida o per la generazione veloce di script usa e getta. Inoltre funziona bene per estrarre rapidamente le informazioni che mi servono quando analizzo codice.

Lo uso con powershell, C#, SQL e anche il linguaggio di scripting per generare grafici con mermaid.live

Copilot in Visual Studio e Visual Studio Code funziona molto bene come Intellisense on steroids: velocizza tantissimo la scrittura di codice ripetitivo.

Il lato negativo e’ che non posso mai abbassare la soglia di attenzione, come capita ad esempio quando facevo edit di pezzi di codice “no brainer”

La generazione di immagini per ora l’ho usata solo per giocare, mentre per un progetto di finanza personale sono riuscito con chatgpt a estrarre i movimenti delle transazioni dagli estratto conto in formato pdf e salvarli in formato csv.

Chat-gpt lo uso anche per la generazione di documentazione, offerte ed email.

Non ho esperienza con altri LLM, ma ho ricevuto commenti molto positivi su Claude, da gente che fa Data-Engineering e Business Intelligence

[amigaunicorn]

teflon é parte del mio lavoro, nel senso che uno dei tre progetti dove sono consiste proprio nel l’ integrare LLM ovunque…onestamente é solo una tecnologia…

[ilbistecca87]

Amiga Unicorn Fa parte del mio quotidiano. Penso che avrà un grosso impatto sulle figure junior. Per il resto è uno strumento come tanti altri di cui ci si può e ci si deve avvantaggiare.

[brancalione]

teflon lo sto usando soprattutto per aiutarmi a generare codice per qualche esperimento con python (sono una pippa in programmazione) e per ricerca di articoli o pubblicazioni su qualche argomento nuovo che devo affrontare al lavoro. È utile quando riassume meeting noiosi.

[marcomarco]

A livello lavorativo, non ho trovato molto utili le AI. C’è da dire che il mio lavoro consiste in gran parte nel preparare dossiers per la Pubblica Amministrazione, quindi non c’è molto che io possa automatizzare.

Lì dove sono riuscito a integrare le AI è soprattutto nel marketing: posso creare facilmente dei testi e delle immagini, e posso creare rapidamente degli articoli promozionali ottimizzati per il SEO.

[amigaunicorn]

marcomarco beh, no. integrandola bene, ti puoi creare il dossier da solo, partendo dai dati di partenza.

[marcomarco]

Amiga Unicorn said in Esperienze con LLM:

marcomarco beh, no. integrandola bene, ti puoi creare il dossier da solo, partendo dai dati di partenza.

In realtà il grosso problema non è creare il dossier. Di lavoro pratico ce n’è sì e no un 10%. il resto è discussione con le autorità e interpretazione delle leggi. Alla fine, è molto più veloce fare tutto a mano.

[amigaunicorn]

marcomarco ma l’interpretazione delle leggi non e’ complicata. Un mio ex manager mi ha chiesto un sistema che leggesse i contratti che avevano firmato o da firmare,e rispondesse alle domande, del tipo “ma se buchiamo lo SLA per un giorno, cosa rischiamo di preciso? E per due?”

Una volta scaricato e vettorializzato l’intero sito del codice civile tedesco, sapeva rispondere.

[teflon]

Amiga Unicorn said in Esperienze con LLM:

teflon é parte del mio lavoro, nel senso che uno dei tre progetti dove sono consiste proprio nel l’ integrare LLM ovunque…onestamente é solo una tecnologia…

interessante. Come la fai l’integrazione? Io uso principalmente i chatbot, non ho mai provato a usare le API, ma prima o poi ci provo.

IMHO e’ una tecnologia che bisogna imparare a usare bene, altrimenti si rischia di restare indietro.

Da quanto ho letto, ho capito i principi base di come funziona, ma ancora non riesco a prevedere il risultato che posso ottenere e l’unico modo che ho trovato e’ procedere per tentativi.

Anzi, ho iniziato a pensare di cercare un corso di “prompt engineering” che non sia una trappola per gonzi

[amigaunicorn]

teflon no, non c’entra. compri una GPU decente per il tuo computer, ci installi gpt4 all e metti nei localdocuments i documenti che vuoi integrare. dopodiche’ installi il modello che puoi, a seconda di quanti GB ha la tua scheda video, e gli fai domande.

[teflon]

Amiga Unicorn

Amiga Unicorn said in Esperienze con LLM:

compri una GPU decente per il tuo computer, ci installi gpt4 all e metti nei localdocuments i documenti che vuoi integrare. dopodiche’ installi il modello che puoi, a seconda di quanti GB ha la tua scheda video, e gli fai domande.

Minchia… Ok, si tratta di un approccio al momento fuori dalla mia portata

[absc]

teflon

Onestamente, sentire dire continuamente: “imparare a usarlo o restare indietro”, è un mantra che sentirlo ha stancato.

Sei cascato nella trappola di chi ti vuol far credere che un LLM sia ora fondamentale
anche per cacare.

E nel mentre, non c’è uno studio scientifico che sia uno, madonna vigliacca, che dimostri il boost di produttività dato dall’uso di un LLM.

È tutto basato sulle “sensazioni”, ma quelle non sono scienza.

Come quelli che blaterano di essere piú veloci con la tastiera che con il mouse.

Poi vai a misurare… es è falso!

Ocio, io vedo dove ha senso usare un LLM, ma tutto sto marketing ha rotto. Non c’è nessuna evidenza scientifica che dice che “resteremo indietro”, piuttosto, verremo rimpiazzati.

[ilbistecca87]

Amiga Unicorn con che percentuale di allucinazioni?

[teflon]

Cioccolataio Svizzerese ohm… shanti shanti shanti

io parlo della mia esperienza personale. Non nego di essere ancora sotto effetto dell’hype, ma per certe attivita’ ripetitive mi riduce i tempi. Poi per carita’, sto ancora sperimentando e chiedendo in giro …

Quando usciranno degli studi, ne leggero’ il riassunto generato con chatgpt.

[absc]

teflon

Io vorrei capire come si fa ad essere "sotto effetto dell’hype.

Tu dici che ti fa risparmiare tempo… hai
misurato per poterlo dire? Dall’inizio alla fine? Incluse review e correzioni?

Ci scommettiamo una birra che, alla fine, rimarrai deluso da quanto poco avrai risparmiato, in realtà?

Io ho idea che tutti siano lí con le mutande croccanti perché:

• Credono di risparmiare tempo
• Tutti dicono cosí, e quindi devono dirlo anche loro.

Ma perfavore, leggi va, nom farti fare i riassuntini

[teflon]

Cioccolataio Svizzerese

guarda, per alcune attivita’ ci ho messo manciate di minuti vs ore.

Per altre ci ho perso tempo per poi rendermi conto che facevo prima a farle a mano.

Per certi versi, per il mio lavoro e’ un po’ come quando e’ comparso l’intellisense negli IDE…

la lettura del riassunto e’ una battuta. Probabilmente darei l’articolo in pasto a Notebook LM per farmi generare il podcast da ascoltare mentre cucino la cacio e pepe secondo la ricetta postata nell’altro thread

Per la birra volentieri, con o senza scommessa

[absc]

teflon said in Esperienze con LLM:

Cioccolataio Svizzerese

guarda, per alcune attivita’ ci ho messo manciate di minuti vs ore.

Per altre ci ho perso tempo per poi rendermi conto che facevo prima a farle a mano.

Per certi versi, per il mio lavoro e’ un po’ come quando e’ comparso l’intellisense negli IDE…

la lettura del riassunto e’ una battuta. Probabilmente darei l’articolo in pasto a Notebook LM per farmi generare il podcast da ascoltare mentre cucino la cacio e pepe secondo la ricetta postata nell’altro thread

Per la birra volentieri, con o senza scommessa

Se passi da Zurigo basta un messaggio!

[absc]

teflon

In ogni caso: secondo me era la mancanza di automazione a mancarti.

Credo avresti potuto sveltire molte attività anche senza LLM.

Personalmente, litigare con un prompt non mi ispira tantissimo.

[teflon]

Cioccolataio Svizzerese l’aspetto divertente e’ che giusto in questi giorni sto usando gli LLM per generare gli script che mi servono per automatizzare task ripetitivi.
Riducendo il tempo per la generazione degli script, mi posso permettere di scriptare di piu’.

E non dimentichiamoci il meme …

[absc]

teflon

Rimango sempre molto scettico rispetto a quello che dici.

Ma ad ognuno il suo!