Ask4Food Smart Scores: Αξιολόγηση Χρηστών & Εστιατορίων



Η ανωνυμία των χρηστών που δημοσιεύουν κριτικές στο ask4food δεν σημαίνει οτι όλοι οι αξιολογητές είναι ίδιοι, ούτε οτι όλες οι κριτικές αντιμετωπίζονται με τον ίδιο τρόπο από τους φίλους που επισκέπτονται το ask4food καθημερινά για να ανακαλύψουν νέα εστιατόρια.

20141107 beautiful girl thinking
20140912 math tree


Το ask4food έχει σχεδιάσει και χρησιμοποιεί σύνθετα στατιστικά μοντέλα, τόσο για την αξιολόγηση των χρηστών που δημοσιεύουν κριτικές, όσο και για την πιο αξιόπιστη και χρήσιμη αποτύπωση της “κοινής γνώμης” σχετικά με την αξιολόγηση του κάθε εστιατορίου.



Στατιστικό μοντέλο αξιολόγησης χρηστών

Οι παράμετροι που επηρεάζουν την αξιολόγηση κάθε χρήστη είναι το πόσο χρήσιμες είναι οι κριτικές που δημοσιεύει, σύμφωνα με τις ψήφους που συγκεντρώνουν από την κοινότητα των φίλων του ask4food και το πόσο συχνά δημοσιεύει κριτικές.

Σε γενικές γραμμές, ισχύει οτι η αξιολόγηση ενός χρήστη αυξάνεται όταν:

- Οι κριτικές που δημοσιεύει συγκεντρώνουν ψήφους
- Δημοσιεύει κριτικές συχνά
- Οι κριτικές που δημοσιεύει προσελκύουν ψήφους από χρήστες με υψηλή αξιολόγηση



20140909 chef hat full 20140909 chef hat full 20140909 chef hat full 20140909 chef hat full


20140909 chef hat full 20140909 chef hat full 20140909 chef hat empty 20140909 chef hat empty

Αντίθετα, η αξιολόγηση ενός χρήστη μειώνεται όταν:

- Δε δημοσιεύει κριτικές για μεγάλο διάστημα
- Οι κριτικές που δημοσιεύει δεν συγκεντρώνουν ψήφους

Υπάρχουν τέσσερα επίπεδα χρηστών. Κάθε επίπεδο σηματοδοτεί οτι ο χρήστης έχει ξεπεράσει ένα συγκεκριμένο όριο αξιολόγησης (οι νέοι χρήστες που έχουν μηδενική ή πολύ μικρή συμμετοχή δεν αξιολογούνται).


Σημ: Το στατιστικό μοντέλο αξιολόγησης χρηστών χρησιμοποιεί το Υπόδειγμα της Τυχαίας Διαδρομής (Random Walk model) και ανήκει στην ίδια οικογένεια στατιστικών μοντέλων με τον αλγόριθμο Pagerank.



Aξιολόγηση Εστιατορίων και Βαρύτητα Κριτικών

Η Αξιολόγηση κάθε εστιατορίου μετριέται σε κλίμακα 1-100 και υπολογίζεται από τις βαθμολογίες των κριτικών που έχουν δημοσιευθεί γι’ αυτό, σύμφωνα με τη “βαρύτητα” της κάθε κριτικής.

Η βαρύτητα κάθε κριτικής εξαρτάται από το πόσο πρόσφατα έχει δημοσιευθεί και από το επίπεδο αξιολόγησης του χρήστη που τη δημοσίευσε. Επομένως, για τον υπολογισμό της αξιολόγησης ενός εστιατορίου, ισχύει ότι:


- Ανάμεσα σε δυο κριτικές που έχουν δημοσιευθεί από χρήστες ίδιου επιπέδου αξιολόγησης, μεγαλύτερη βαρύτητα έχει εκείνη που έχει δημοσιευθεί πιο πρόσφατα.

20141114 date weight

20141114 reviewers weight
- Ανάμεσα σε δυο κριτικές που έχουν δημοσιευθεί σε κοντινό χρόνο μεταξύ τους, μεγαλύτερη βαρύτητα έχει εκείνη που έχει δημοσιευθεί από τον χρήστη που έχει υψηλότερο επίπεδο αξιολόγησης.


Σημ: Οι κριτικές νέων χρηστών - για όσο χρόνο αυτοί βρίσκονται ακόμα στο πρώτο επίπεδο αξιολόγησης - έχουν πολύ μικρή βαρύτητα, προκειμένου να προστατευθεί η αξιοπιστία των βαθμολογιών από φαινόμενα χειραγώγησης.



Βεβαιότητα Αξιολόγησης

Ο όρος βεβαιότητα χρησιμοποιείται καταχρηστικά. Περιγράφει το βαθμό της “στατιστικής αξιοπιστίας” που υπάρχει για την αξιολόγηση του κάθε εστιατορίου. Αυτό που θέλουμε να δείξουμε είναι το κατά πόσο μπορεί κανείς να εμπιστευτεί την ποιότητα των δεδομένων που υπάρχουν για το συγκεκριμένο εστιατόριο. Σε γενικές γραμμές, για τον υπολογισμό της βεβαιότητας χρησιμοποιούνται δυο κριτήρια:

- Όσο μεγαλύτερη συμφωνία υπάρχει ανάμεσα στις βαθμολογίες των κριτικών γι’ αυτό το εστιατόριο, τόσο υψηλότερη είναι και η βεβαιότητα των βαθμολογιών.

- Όσο μεγαλύτερη βαρύτητα έχουν συνολικά οι κριτικές γι’ αυτό το εστιατόριο, τόσο υψηλότερη είναι η βεβαιότητα των βαθμολογιών.

Η βεβαιότητα δηλαδή για ένα εστιατόριο μπορεί να είναι χαμηλή είτε επειδή οι κριτικές διαφωνούν μεταξύ τους σε σημαντικό βαθμό, είτε επειδή είναι λίγες, είτε επειδή είναι παλιές ή/και επειδή είναι γραμμένες από χρήστες για τους οποίους δεν υπάρχει επαρκές ιστορικό για να αξιολογηθούν.


Σημ: 1. Τα εστιατόρια για τα οποία η βεβαιότητα είναι ιδιαίτερα χαμηλή δεν εμφανίζουν αξιολόγηση, ακόμα κι αν υπάρχουν δημοσιευμένες κριτικές. 2. Η βεβαιότητα της Αξιολόγησης για εστιατόρια με μια μόνο κριτική είναι πάντοτε χαμηλή.



Σειρά εμφάνισης εστιατορίων στους πίνακες αποτελεσμάτων

Στα πλαίσια των δυνατοτήτων που προσφέρουν τα σύγχρονα εργαλεία στατιστικής ανάλυσης και σύμφωνα με την παραμετροποίηση που έχει επιλέξει το ask4food, η σειρά εμφάνισης των εστιατορίων αποτυπώνει μια πολύ αξιόπιστη και ασφαλή εικόνα για την τρέχουσα σειρά προτίμησης που διαμορφώνεται από την κοινότητα των φίλων του καλού φαγητού για τα εστιατόρια της πόλης.

Σχετικά με τον υπολογισμό της σειράς εμφάνισης: Στην πραγματικότητα, η Αξιολόγηση για ένα εστιατόριο υπολογίζεται σαν ένα εύρος πιθανών βαθμολογιών (πχ. 62% - 84%). Όσο μεγαλύτερη η Βεβαιότητα που υπάρχει για την αξιολόγηση αυτού του εστιατορίου, τόσο μικρότερο αυτό το εύρος (βλ. παραπάνω σχετικά).

Στους πίνακες αποτελεσμάτων εμφανίζεται σαν Αξιολόγηση το μέσον αυτού του εύρους (πχ. 73%), αλλά η σειρά εμφάνισης ακολουθεί το κριτήριο του “κατώτατου ορίου”, δηλαδή της ελάχιστης πιθανής αξιολόγησης για κάθε εστιατόριο. Ο λόγος είναι οτι θέλουμε να εμφανίζονται σε υψηλότερη θέση εκείνα τα εστιατόρια για τα οποία το ask4food είναι πιο “σίγουρο” οτι συγκεντρώνουν ένα ελάχιστο επίπεδο αξιολόγησης. Ας σημειωθεί η επιφύλαξη οτι εστιατόρια για τα οποία δεν υπάρχουν αρκετές κριτικές, δεν μπορούν να αξιολογηθούν επαρκώς και έτσι εμφανίζονται σε χαμηλότερη θέση.

Γενικό παράδειγμα: ένα εστιατόριο με αξιολόγηση 75% και μεγάλη βεβαιότητα θα εμφανιστεί πιο πάνω από ένα εστιατόριο με αξιολόγηση 78% και μικρή βεβαιότητα.





Σημ: Ο σχεδιασμός και η παραμετροποίηση των στατιστικών μοντέλων που χρησιμοποιούνται στο ask4food είναι αποτέλεσμα συνεργασίας του ask4food.gr και του Δρ. Χριστόφορου Αναγνωστόπουλου, καθηγητή Στατιστικής του Imperial College του Λονδίνου και συνιδρυτή της Mentat Innovations.