Weekly outline

  • General

    Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση". Εδώ θα βρείτε σημειώσεις και διαφάνειες για το δεύτερο μέρος του μαθήματος που εστιάζει στη Θεωρία της Μηχανικής Μάθησης και στις εφαρμογές της Κυρτής Βελτιστοποίησης στη Μηχανική Μάθηση. 

    Οι διαλέξεις γίνονται κάθε Δευτέρα, ώρα 15:15-18:00, μέσω WebEx στο link: https://centralntua.webex.com/centralntua/j.php?MTID=md277b24f859f4fef245263940338869a

    Διδάσκοντες


    Βιβλιογραφία και Σχετικά Μαθήματα


  • 10 May - 16 May

    Διάλεξη 10/5: PAC Learning, Empirical Risk Minimization, VC dimension

    • Εισαγωγή, learning finite hypothesis classes (και πως μπορούμε να προσομοιώσουμε αποδοτικά τον Halving σε d-διάστατο grid) 
    • PAC learning, Empirical Risk Minimization (ERM). 
    • VC-dimension. 

    Προτεινόμενη μελέτη: 

    Βίντεο της διάλεξης 

    (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).

    • 17 May - 23 May

      Διάλεξη 17/5: Agnostic PAC Learning,  Online Learning 

      • VC-dimension, παραδείγματα, το θεμελιώδες θεώρημα του Statistical Learning. 
      • Agnostic PAC Learning
      • Learning via uniform convergence. 
      • Bias-Complexity tradeoff
      • Loss functions, ERM and convex optimization. 
      • Online Learning. 

      Προτεινόμενη μελέτη: 

      • Διαφάνειες: set1 (χωρίς το κομμάτι του Linear Regression), set2 (μέχρι σελ. 21) και set3.
      • Κεφάλαια 4 και 6 από Understanding Machine Learning.
      • Tutorial του Elad Hazan, Optimization and Machine Learning.  

      Βίντεο της διάλεξης 

      (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).

      • 24 May - 30 May

        Διάλεξη 24/5: PAC Learning, Online Learning and Online Convex Optimization 

        • Σύντομη επανάληψη προηγούμενης διάλεξης (ERM, representative sets, σύνδεση Agnostic PAC Learning με Convex Optimization, Gradient Descent)
        • Online learning, online convex optimization, regret, no-regret αλγόριθμοι.
        • Follow the Leader: ορισμός και ανάλυση του regret. 
        • Ο ρόλος της ισχυρής κυρτότητας στην ευστάθεια αλγορίθμων της μορφής Follow the Leader. 
        • Regularization.
        • Follow the regularized Leader: ορισμός, παραμετροποίηση με βάση τον regularizer, ανάλυση του regret.

        Προτεινόμενη μελέτη: 


        Βίντεο της διάλεξης 

        (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).


        • 31 May - 6 June

          Διάλεξη 31/5: Online Convex Optimization, Online Gradient Descent, Stochastic Gradient Descent

          • Εκτενής επανάληψη προηγούμενης διάλεξης (Online Learning, Online Convex Optimization, Follow the Leader, regret analysis, ο ρόλος του regularization, Follow the Regularized Leader). 
          • Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader στη γενική περίπτωση του Online Convex Optimization. 
          • Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις. 
          • Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 

          Προτεινόμενη μελέτη: 


          Βίντεο της διάλεξης 

          (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).