31 May - 6 June

Διάλεξη 31/5: Online Convex Optimization, Online Gradient Descent, Stochastic Gradient Descent

• Εκτενής επανάληψη προηγούμενης διάλεξης (Online Learning, Online Convex Optimization, Follow the Leader, regret analysis, ο ρόλος του regularization, Follow the Regularized Leader). 
• Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader στη γενική περίπτωση του Online Convex Optimization. 
• Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις. 
  
• Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 
  

Προτεινόμενη μελέτη: 

• Σύνοψη διάλεξης σε διαφάνειες. 
• Κεφάλαια 12, 13 και 14 από Understanding Machine Learning. 
  
• Σημειώσεις Β. Συργκάνη (δείτε μόνο το πρώτο μέρος).
• Ενότητες 2.1 και 2.2, και κεφάλαιο 3 από Online Convex Optimization. 
  
• Δείτε ακόμη τις διαφάνειες Shalev-Shwartz (διαφ. 1-23) για τον ρόλος του regularization στη βελτιστοποίηση υποθέσεων στο Machine Learning και τις διαφάνειες Shalev-Shwartz για μια πιο λεπτομερή παρουσίαση της Stochastic Gradient Descent και των εφαρμογών της στο Machine Learning.

Βίντεο της διάλεξης 

(ΠΡΟΣΟΧΗ: Απαιτείται συνθηματικό για την πρόσβαση. Το υλικό των διαλέξεων προορίζεται αποκλειστικά για προσωπική χρήση των φοιτητών του μαθήματος και δεν επιτρέπεται η ανάρτησή του ή μεταφόρτωσή του σε οποιοδήποτε άλλο site ή μέσο).