Weekly outline

  • General

    Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση". Εδώ θα βρείτε σημειώσεις και διαφάνειες για το δεύτερο μέρος του μαθήματος που εστιάζει στη Θεωρία της Μηχανικής Μάθησης και στις εφαρμογές της Κυρτής Βελτιστοποίησης στη Μηχανική Μάθηση. 

    Οι διαλέξεις γίνονται κάθε Δευτέρα, ώρα 15:15-18:00, μέσω WebEx.  

    Διδάσκοντες


    Βιβλιογραφία και Σχετικά Μαθήματα


  • 12 May - 18 May

    Διάλεξη 11/5: PAC Learning, Empirical Risk Minimization, VC dimension

    • Εισαγωγή, learning finite hypothesis classes (και πως μπορούμε να προσομοιώσουμε αποδοτικά τον Halving σε d-διάστατο grid) 
    • PAC learning, Empirical Risk Minimization (ERM). 
    • VC-dimension. 

    Προτεινόμενη μελέτη: 

    Βίντεο της διάλεξης 

    (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).

    • 19 May - 25 May

      Διάλεξη 18/5: Agnostic PAC Learning,  Online Learning 

      • VC-dimension, παραδείγματα, το θεμελιώδες θεώρημα του Statistical Learning. 
      • Agnostic PAC Learning
      • Learning via uniform convergence. 
      • Bias-Complexity tradeoff
      • Loss functions, ERM and convex optimization. 
      • Gradient Descent
      • Online Learning in Games. 

      Προτεινόμενη μελέτη: 

      • Διαφάνειες: set1 (χωρίς το κομμάτι του Linear Regression) και set2 (μέχρι σελ. 21).
      • Κεφάλαια 4 και 6 από Understanding Machine Learning.
      • Tutorial του Elad Hazan, Optimization and Machine Learning.  

      Βίντεο της διάλεξης 

      (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).

      • 26 May - 1 June

        Διάλεξη 25/5: PAC Learning, Online Learning and Online Convex Optimization 

        • Σύντομη επανάληψη προηγούμενης διάλεξης (ERM, representative sets, σύνδεση Agnostic PAC Learning με Convex Optimization, Gradient Descent)
        • Online learning, online convex optimization, regret, no-regret αλγόριθμοι.
        • Follow the Leader: ορισμός και ανάλυση του regret. 
        • Ο ρόλος της ισχυρής κυρτότητας στην ευστάθεια αλγορίθμων της μορφής Follow the Leader. 
        • Regularization.
        • Follow the regularized Leader: ορισμός, παραμετροποίηση με βάση τον regularizer, ανάλυση του regret.

        Προτεινόμενη μελέτη: 


        Βίντεο της διάλεξης 

        (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).


        • 2 June - 8 June

          Διάλεξη 1/6: Online Convex Optimization, Online Gradient Descent, Stochastic Gradient Descent

          • Εκτενής επανάληψη προηγούμενης διάλεξης (Online Learning, Online Convex Optimization, Follow the Leader, regret analysis, ο ρόλος του regularization, Follow the Regularized Leader). 
          • Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader στη γενική περίπτωση του Online Convex Optimization. 
          • Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις. 
          • Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 

          Προτεινόμενη μελέτη: 


          Βίντεο της διάλεξης 

          (ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).