Behörighetskrav

120 hp teknik/naturvetenskap inklusive Programmeringsteknik I, Sannolikhet och statistik, Linjär algebra II, Flervariabelanalys/Analys i flera variabler. Genomgången Statistisk maskininlärning. Engelska 6 (Med en svensk kandidatexamen uppfylls kravet på engelska.).

Mål

Efter godkänd kurs ska studenten kunna:

• Förklara och jämföra klassiska (PAC/VC) kontra algoritmberoende (stabilitet, PACBayes, informationsteoretiska) ramverk för generalisering, och ange när var och en är användbar.
• Härleda och manipulera PAC-Bayes-gränser (KL-baserade gränser, Gibbsklassificerare), och förklara hur dessa kan optimeras för att producera icke-vakuösa gränser för djupa nät.
• Formellt koppla optimeringsgeometri till generalisering: definiera skärpa/planhet, härled intuitioner för varför platta minima generaliseras och implementera/analysera Sharpness-Aware Minimization (SAM).
• Analysera moderna fenomen som dubbel härkomst och benign överanpassning; förklara rollen av överparametrisering och datakovariansstruktur.
• Använd kärn-/medelfältsgränser (NTK, oändliga breddregimer) för att resonera kring träningsdynamiken i breda nätverk.
• Genomföra en mindre forskningsstudie eller ett rigoröst empiriskt projekt som syntetiserar teori och experiment, inklusive att utvärdera moderna teoriartiklar.

Innehåll

Noggrann, konceptdriven behandling av modern statistisk inlärningsteori som utgår från klassisk PAC/VC och uniform-konvergens/Rademacher-verktyg, och vidare till algoritmberoende perspektiv. Kursen behandlar algoritmisk stabilitet och dess relation till generalisering; PAC-Bayes-teori; geometri för förlustlandskap (skärpa/planhet, hessianbaserade approximationer) och skärpemedveten minimering (SAM); överparametriseringsfenomen inklusive Neural Tangent Kernel (NTK) och implicit bias i gradientmetoder; dubbel descent och benign överanpassning i linjära modeller; och informationsteoretiska/kompressionsperspektiv som kopplar samman ramverken. Modulen avslutas med öppna problem och studentprojektpresentationer som integrerar teori och reproducerbara experiment.

Undervisning

Seminarier och föreläsningar.

Examination

Skriftlig tentamen (3 hp). Muntlig och skriftlig redovisning av inlämningsuppgifter och projektarbete (2 hp).

Om särskilda skäl finns får examinator göra undantag från det angivna examinationssättet och medge att en enskild student examineras på annat sätt. Särskilda skäl kan t.ex. vara besked om särskilt pedagogiskt stöd från universitetets samordnare för studenter med funktionsnedsättning.