Weekly outline

• General
  

  General

  Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση". Εδώ θα βρείτε σημειώσεις και διαφάνειες για το δεύτερο μέρος του μαθήματος που εστιάζει στη Θεωρία της Μηχανικής Μάθησης και στις εφαρμογές της Κυρτής Βελτιστοποίησης στη Μηχανική Μάθηση. 

  Οι διαλέξεις γίνονται κάθε Δευτέρα, στην αίθουσα 004, του Ν. Κτ. Ηλεκτρολόγων ώρα 15:00-18:00. 

  Διδάσκοντες

  • Κωνσταντίνος Χρυσαφίνος, Αναπλ. Καθηγητής
  • Δημήτρης Φωτάκης, Αναπλ. Καθηγητής 

  
  

  Βιβλιογραφία και Σχετικά Μαθήματα
  

  • Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, 2014.
  • Shai Shalev-Shwartz. Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning. Vol. 4(2): 107–194, 2011. 
  • Elad Hazan. Introduction to Online Convex Optimization. Foundations and Trends in Optimization. Vol. 2(3-4): 157-325, 2015.
    
  • Διαλέξεις@youtube του Machine Learning μαθήματος από τον Shai Ben-David, University of Waterloo, 2015.
  • Μάθημα Machine Learning από τον Shai Shalev-Shwartz, The Hebrew University of Jerusalem, 2014. 

  • Ανακοινώσεις Forum
• 6 May - 12 May
  

  6 May - 12 May

  • Εισαγωγή, PAC Learning.
    Διαφάνειες (set1 και set2).
    Προτεινόμενη μελέτη: Κεφάλαια 1-3 από Understanding Machine Learning. 
    
    
• 13 May - 19 May
  

  13 May - 19 May

  • Empirical Risk Minimization, VC-dimension, Agnostic PAC Learning. Διαφάνειες. 
    Προτεινόμενη μελέτη: Κεφάλαια 4 και 6 από Understanding Machine Learning. 
  • Online Convex Optimization. 
    Προτεινόμενη μελέτη: Σημειώσεις Μ. Ζαμπετάκη και σημειώσεις Β. Συργκάνη, και κεφάλαιο 1 και ενότητες 2.1 - 2.4 από Online Learning and Online Convex Optimization.
    
• 20 May - 26 May
  

  20 May - 26 May

  • Online Convex Optimization.
    Προτεινόμενη μελέτη: Σημειώσεις Β. Συργκάνη (δείτε μόνο το πρώτο μέρος), σύνοψη σε διαφάνειες, διαφάνειες Shalev-Shwartz, και κεφάλαιο 12 από Understanding Machine Learning. 
  • Stochastic Gradient Descent.
    Προτεινόμενη μελέτη: Διαφάνειες Shalev-Shwartz, και κεφάλαιο 14 από Understanding Machine Learning. 

  
  
• 27 May - 2 June
  

  27 May - 2 June

  • Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις. 
  • Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 
    Προτεινόμενη μελέτη: Σύνοψη ανάλυσης σε διαφάνειες, ενότητες 2.1, 2.2, 3, 3.1, 3.3 και 3.4 από Online Convex Optimization. 
  • Ο ρόλος του regularization στη βελτιστοποίηση υποθέσεων στο Machine Learning. 
    Προτεινόμενη μελέτη: διαφάνειες Shalev-Shwartz (διαφ. 1-23), και κεφάλαιο 13 από Understanding Machine Learning. 
    
  • Bandit Convex Optimization and Multi Armed Bandits. 
    Προτεινόμενη μελέτη: Διαφάνειες, ενότητες 6.1 και 6.2 από Online Convex Optimization.
• 10 June - 16 June
  

  10 June - 16 June

  • Dimensionality reduction: PCA, random projections, compressed sensing. 
    Προτεινόμενη μελέτη: διαφάνειες Shalev-Shwartz και κεφάλαιο 23 από Understanding Machine Learning. 
    
  • Generative models: maximum likelihood, naive Bayes, LDA, latent variables and EM, Bayesian reasoning. 
    Προτεινόμενη μελέτη: διαφάνειες Shalev-Shwartz και κεφάλαιο 24 από Understanding Machine Learning.