{
    "componentChunkName": "component---src-templates-course-jsx",
    "path": "/acadevmy/corso/llmops-and-ai-evals",
    "result": {"pageContext":{"course":{"node":{"strapiId":"6a54e755169fc70015702d14","slug":"llmops-and-ai-evals","content":"Mandare un’applicazione AI in produzione è facile. Tenerla affidabile, valutarne la qualità in modo oggettivo e controllarne i costi è tutta un’altra storia, ed è esattamente dove la maggior parte dei progetti si arena. Senza valutazioni sistematiche, ogni modifica al prompt o cambio di modello è un salto nel buio.\n\nQuesto corso insegna la disciplina operativa dell’AI: costruire dataset di valutazione, eseguire eval automatiche, versionare prompt e configurazioni, individuare regressioni prima del deploy e monitorare comportamento, qualità e costi in produzione. È il complemento naturale di chi già costruisce agenti e applicazioni AI.\n\n&nbsp\n","courses_category":{"name":"Corso","slug":"corso"},"brochure":{"publicURL":"/static/b82275c1aacbc1146a84516fbb4e977f/15ceb563ad24a5db546ba46e24f23b93.pdf"},"duration":"16 ore","extra_modules":null,"image":{"publicURL":"/static/88db501d80fe1e5ab33335cbb15f51b3/70a96a5d8c945fa8a57bf7c0ddd24cb7.png"},"preview_image":null,"language":"Italiano","level":"advanced","location":" #### **Full-Remote** \nÈ possibile svolgere il corso in modalità full-remote con gli strumenti messi a disposizione da Devmy, ed in modo assolutamente analogo alla modalità onSite ma suddividendo, se lo si desidera, il tutto in sessioni da 4h.\n\n&nbsp\n\n## Takeaway\n- Definire cosa significa “qualità” per il proprio sistema AI\n- Costruire dataset di valutazione e metriche significative\n- Automatizzare le eval (incluso LLM-as-judge) e integrarle nella CI\n- Versionare e confrontare prompt, modelli e configurazioni\n- Monitorare qualità, comportamento e costi in produzione\n","material_included":"- Corso pratico con live coding\n- Supporto setup environment\n- Slide in formato PDF\n- Repository del Progetto\n- Attestato di Partecipazione\n- Follow Up di fine corso\n- Canale Slack dedicato ai partecipanti","material_needed":"- Il proprio computer portatile\n- Tanta buona volontà e voglia di imparare\n- Connessione ad Internet\n- Account gratuiti su piattaforme di terze parti (indicati prima del corso)\n- Una API key per un provider LLM","participants_min":5,"participants_max":20,"pay_method":null,"pricing":null,"required_skills":"- Esperienza consolidata con almeno un linguaggio (Python o JavaScript/TypeScript)\n- Aver già lavorato con LLM API o applicazioni AI\n- Familiarità con Git, testing e pipeline CI/CD\n\n&nbsp\n\n&nbsp\n\n## A chi si rivolge\n- Sviluppatori e team che hanno già applicazioni o agenti AI, anche in prototipo\n- ML/AI engineer e tech lead responsabili della qualità in produzione\n- Chi ha seguito “Building Production AI Agents” o ha esperienza equivalente\n","topics":"**Modulo 1 — Fondamenti di valutazione**\n- Perché le eval sono il collo di bottiglia dell’AI in produzione\n- Definire qualità e criteri di successo per il proprio caso\n- Tipi di eval: deterministiche, basate su riferimento, LLM-as-judge\n\n**Modulo 2 — Costruire dataset ed eval**\n- Creare e curare un dataset di valutazione rappresentativo\n- Metriche utili (e metriche fuorvianti)\n- LLM-as-judge: quando funziona, limiti e calibrazione\n\n**Modulo 3 — Eval nel ciclo di sviluppo**\n- Versionamento di prompt, modelli e configurazioni\n- Regression testing: cogliere i peggioramenti prima del deploy\n- Integrare le eval in CI/CD\n\n**Modulo 4 — Observability e operatività**\n- Tracing e logging di un sistema AI/agentico\n- Monitorare comportamento, qualità e drift in produzione\n- Controllo e ottimizzazione dei costi: routing, caching, scelta del modello\n- Feedback degli utenti e miglioramento continuo\n- Monitoraggio dei guardrail in produzione: violazioni, falsi positivi e tuning\n","title":"LLMOps & AI Evals","whatdo":"Corso pratico con live coding: costruiremo una pipeline di valutazione e osservabilità attorno a un’applicazione AI esistente, dal primo dataset di eval fino al monitoring in produzione.\nLavoreremo con piattaforme di observability ed evaluation di riferimento (es. Langfuse, promptfoo o equivalenti), confermate a ridosso di ogni edizione.\n"}}}},
    "staticQueryHashes": ["63159454"]}