• Sunday June 16,2019

Πώς Kaggle λύνει μεγάλα προβλήματα με μεγάλους διαγωνισμούς δεδομένων

Ονομα: Κουνάβι

Μεγάλη ιδέα: Το Kaggle φιλοξενεί διαγωνισμούς για επιστήμονες δεδομένων.

Γιατί λειτουργεί: Χρήση του ανταγωνισμού για τέλεια προγνωστικά μοντέλα.

Το 2006, η Netflix κυκλοφόρησε ένα σύνολο ανώνυμων δεδομένων χρηστών και μια πρόκληση: Όσοι θα μπορούσαν να βελτιώσουν τους αλγόριθμους συστάσεων ταινιών κατά τουλάχιστον 10% θα λάβουν βραβείο αξίας 1 εκατομμυρίου δολαρίων.

Χρειάστηκαν τρία χρόνια, αλλά μια ομάδα (δύο ομάδες, στην πραγματικότητα) τελικά πέτυχε τον στόχο - κάτι που οι ίδιοι οι ερευνητές δεδομένων της Netflix δεν μπόρεσαν να το κάνουν μόνοι τους.

"Όταν εργάζεστε στο πλαίσιο ενός διαγωνισμού, δοκιμάζετε μερικά πράγματα και φτάνετε στην κορυφή ενός leaderboard και είστε αρκετά χαρούμενοι με τον εαυτό σας", εξηγεί ο ιδρυτής και διευθύνων σύμβουλος της Kaggle Anthony Goldbloom. "Τότε κάποιος άλλος έρχεται και σας μετατοπίζει, οπότε πρέπει να δοκιμάσετε κάτι άλλο. Αυτό το άλμα γελοιοποιείται γενικά μέχρι να μην γίνει κανένας καλύτερος - είναι σαν να πιέζετε ένα λεμόνι μέχρι να στεγνώσει».

Δεν είναι μόνο το Netflix που βασίζεται σε μοντέλα πρόβλεψης - οι τράπεζες, οι ασφαλιστικές εταιρείες, οι πάροχοι δοκιμών και πολλές άλλες βιομηχανίες κάνουν επίσης. Η Goldbloom έλαβε το μοντέλο του βραβείου Netflix και το κατέστησε βιώσιμο για όλους τους τύπους εταιρειών.

Το Kaggle φιλοξενεί διαγωνισμούς για επιστήμονες δεδομένων. Εταιρείες που θέλουν να επιλυθούν προβλήματα μετά από αυτές, μαζί με σχετικά σύνολα δεδομένων, στον ιστότοπο. Ο καθένας μπορεί να υποβάλει μια λύση, και κάθε ανταγωνιστής κατατάσσεται σε ένα leaderboard σε όλο τον διαγωνισμό. Μέχρι στιγμής περίπου 30.000 άτομα έχουν υποβάλει τουλάχιστον ένα μοντέλο σε διαγωνισμό.

Τα βραβεία τρέχουν από οπουδήποτε μεταξύ $ 1.000, για έναν αλγόριθμο που μπορεί να ταιριάξει έγγραφα με τους συγγραφείς τους, σε 3 εκατομμύρια δολάρια, για έναν αλγόριθμο που προβλέπει πόσες ημέρες θα περάσει ένας ασθενής σε ένα νοσοκομείο το επόμενο έτος. Οι περισσότεροι διαγωνισμοί έχουν προθεσμία μεταξύ δύο και τριών μηνών.

Τα θέματα ποικίλλουν επίσης πολύ. Online δοκιμή προετοιμασίας για προετοιμασία Το Grockit, για παράδειγμα, χρησιμοποίησε την πλατφόρμα για να προβλέψει ποιες ερωτήσεις οι συγκεκριμένοι χρήστες είναι πιο πιθανό να κάνουν λάθος. Μια άλλη εταιρεία το χρησιμοποιεί για να αναπτύξει βαθμολογία μηχανικού δοκίμιου. Ένας μάνατζερ της Αγγλίας έλαβε έναν έλεγχο για να κερδίσει μια πρόκληση Kaggle που σχετίζεται με την έρευνα για τον HIV (η μητέρα του ήταν συγκεχυμένη όταν εμφανίστηκε Science Magazine).

Η ιδέα είναι ότι τελικά οι καλύτεροι επιστήμονες δεδομένων στον κόσμο θα μπορούσαν να κερδίσουν όσο και τους καλύτερους παίκτες γκολφ ή τα καλύτερα ροκ αστέρια.

"Η ελπίδα μας είναι ότι οι άνθρωποι εκτός σχολείου θα θέλουν να είναι επιστήμονες δεδομένων που πηγαίνουν έξω από το σχολείο αντί των εμπόρων hedge funds", λέει ο Goldbloom.


Ενδιαφέροντα Άρθρα

Μόνο στο Παγκόσμιο Φόρουμ Deals Site για Αθλητικά Εισιτήρια Going Nationwide [INVITES]

Οι τοποθεσίες Flash όπως το Groupon και το LivingSocial έχουν προσελκύσει τους καταναλωτές με έναν μεγάλο τρόπο, προσφέροντας εκπτώσεις σε όλα, από τα τρόφιμα έως τα περιστατικά προσώπου. Αλλά η τεράστια αγορά των μετρητών-spe ...

Η έκδοση Google Chrome 6 έρχεται στη δεύτερη γενέθλια του προγράμματος περιήγησης

Είναι δύσκολο να πιστέψουμε ότι έχουν περάσει δύο χρόνια από τότε που το πρόγραμμα περιήγησης Chrome χτυπήθηκε για πρώτη φορά στον ιστό. Εκείνη την εποχή, το Chrome έχει έρθει να ελέγχει περισσότερο από το 7,5% του παγκόσμιου σήματος περιήγησης ...

iPhone 4G να έρθει σε λευκό; [PICS]

Κινεζική ιστοσελίδα Η Apple.pro έχει δημοσιεύσει φωτογραφίες από ένα υποτιθέμενο iPhone επόμενης γενιάς, αυτή τη φορά σε λευκό χρώμα! Ενώ έχουμε δει τη μαύρη παραλλαγή του iPhone 4G στην άγρια φύση σε αριθμό ...

Η Google είναι έτοιμη να πληρώσει 500 εκατομμύρια δολάρια για την επίλυση του Τμήματος Διερεύνησης της Δικαιοσύνης

Η Google ανακοίνωσε ήσυχα ότι έχει αποτελέσει αντικείμενο έρευνας από το Υπουργείο Δικαιοσύνης στο διαφημιστικό της πρόγραμμα. Ο γίγαντας της έρευνας αποκάλυψε πολύ λίγες λεπτομέρειες ...