Δοκιμάστε τον agent σας πριν βγει ζωντανά

Ένας agent που απαντούσε σωστά τον περασμένο μήνα μπορεί να αρχίσει να απαντά λάθος μετά από μια αλλαγή στις οδηγίες ή στη γνώση του. Η σελίδα Αξιολόγησης το πιάνει πριν το δουν οι επισκέπτες σας: κρατάτε ένα σετ ερωτήσεων δοκιμής, το εκτελείτε στο πρόχειρο του agent, και αποφασίζετε τι σημαίνει μια αποτυχία για ένα deploy.

Χτίστε το χρυσό σετ#

Ανοίξτε την Αξιολόγηση στην κονσόλα και επιλέξτε agent. Κάθε περίπτωση είναι μια ερώτηση συν τουλάχιστον μία προσδοκία:

• η αναμενόμενη απάντηση, που κρίνεται με βάση το νόημα και όχι την ακριβή διατύπωση,
• μια απάντηση που ο agent δεν πρέπει να επαναλάβει ποτέ (ένα επιβεβαιωμένο παλιό λάθος),
• ή πώς πρέπει να συμπεριφερθεί: να παραπέμπει στα έγγραφά σας, να παραδίδει σε άνθρωπο, ή να αρνείται να απαντήσει.

Περίπτωση χωρίς προσδοκία δεν μπορεί να αποτύχει, οπότε ο επεξεργαστής δεν την αποθηκεύει.

Ο γρηγορότερος δρόμος για ένα χρήσιμο σετ: πατήστε Εισαγωγή επιβεβαιωμένα λανθασμένων. Κάθε απάντηση που οι αξιολογητές σας επιβεβαίωσαν λανθασμένη στη σελίδα Αξιολόγησης απαντήσεων γίνεται περίπτωση που ο agent δεν πρέπει να επαναλάβει, μαζί με την αρχική ερώτηση του επισκέπτη. Η διπλή εισαγωγή είναι ασφαλής: οι υπάρχουσες περιπτώσεις παραλείπονται και δεν αντικαθίστανται, οπότε οι αλλαγές σας διατηρούνται.

Εκτελέστε το#

Η Εκτέλεση του σετ θέτει κάθε ερώτηση στο πρόχειρο του agent, με τις δικές του οδηγίες και γνώση, και ένας αυτόματος κριτής βαθμολογεί κάθε απάντηση. Η αποθηκευμένη εκτέλεση δείχνει επιτυχία ή αποτυχία για κάθε περίπτωση, τον λόγο της αποτυχίας, και τι άλλαξε από την προηγούμενη εκτέλεση: ποιες περιπτώσεις άρχισαν να αποτυγχάνουν, ποιες επανήλθαν, ποιες προστέθηκαν.

Οι εκτελέσεις κρατιούνται για πάντα, οπότε το «τι είχε περάσει αυτή η έκδοση πριν βγει ζωντανά» έχει πάντα απάντηση.

Ορίστε τι σημαίνει μια αποτυχία#

Η πύλη deploy είναι ρύθμιση του project με τρεις θέσεις:

• Ανενεργή: οι εκτελέσεις είναι ενημερωτικές.
• Προειδοποίηση: ένα deploy πάνω από αποτυχημένη εκτέλεση πετυχαίνει, αλλά σας λέει ποια εκτέλεση απέτυχε.
• Μπλοκάρισμα: το deploy απορρίπτεται μέχρι η εκτέλεση να περάσει ή να χαμηλώσετε την πύλη.

Μόνο μια πραγματικά αποτυχημένη εκτέλεση ενεργοποιεί την πύλη. Εκτέλεση που έβγαλε σφάλμα επειδή ο ίδιος ο μηχανισμός είχε πρόβλημα δεν μπλοκάρει ποτέ το deploy σας.

Παρακολουθήστε την ποιότητα στην παραγωγή#

Η ίδια σελίδα φιλοξενεί τους συναγερμούς ποιότητας του project: ένα όριο για το ποσοστό παραισθήσεων (απαντήσεις που δεν στηρίζονται στα έγγραφά σας, μετρημένες από αυτόματο κριτή σε δείγμα πραγματικών συνομιλιών) και για το ποσοστό ανάληψης από άνθρωπο. Όταν ένα ποσοστό ξεπεράσει το όριό του, στέλνεται συμβάν ειδοποίησης στα κανάλια σας, και άλλο ένα όταν επανέλθει. Το dashboard δείχνει τους ίδιους αριθμούς: τεκμηριωμένες απαντήσεις, αρνητικές αξιολογήσεις, και συνομιλίες που ολοκληρώθηκαν χωρίς άνθρωπο.

Η περιοδική αναφορά λειτουργίας#

Η Αναφορά λειτουργίας στην κονσόλα είναι η ίδια αναφορά ποιότητας για ολόκληρη ημερολογιακή περίοδο, ως αρχείο και όχι ως ζωντανός δείκτης.

Ενεργοποιήστε το πρόγραμμα, επιλέξτε κάθε μήνα ή κάθε τρίμηνο, και προσθέστε τις διευθύνσεις που πρέπει να τη λαμβάνουν. Στο τέλος κάθε περιόδου η αναφορά παράγεται και στέλνεται με email ως αρχείο Excel. Κρατιέται επίσης εδώ, ώστε να τη διαβάσετε ή να τη κατεβάσετε χωρίς να περιμένετε το email. Χωρίς διευθύνσεις, παράγεται και κρατιέται κανονικά, απλώς δεν στέλνεται σε κανέναν.

Κάθε αναφορά ξεκινά με τον βασικό δείκτη γύρω από τον οποίο χτίζεται: το ποσοστό των συνομιλιών ιστοσελίδας που τελείωσαν χωρίς να ζητήσει κανείς άνθρωπο, με τον στόχο δίπλα, είτε επιτεύχθηκε είτε όχι. Από κάτω έρχεται όλο το έργο, και μετά το ίδιο σύνολο αριθμών ανά agent: συνομιλίες που χειρίστηκε, πόσες λύθηκαν χωρίς κλιμάκωση, πόσες απαντήσεις ήταν τεκμηριωμένες από τα έγγραφά σας, αρνητικές αξιολογήσεις, πώς κύλησαν οι συνομιλίες από την αρχή ως το τέλος, το θέμα με τις περισσότερες συνομιλίες, πόσα αιτήματα καλούντων αντιστοιχίστηκαν σε πρόθεση που έχετε ρυθμίσει, και οι εκτελέσεις αξιολόγησης της περιόδου.

Δεν χρειάζεται να περιμένετε να τελειώσει μια περίοδος. Η Παραγωγή φτιάχνει αναφορά για οποιονδήποτε περασμένο μήνα ή τρίμηνο κατ απαίτηση, και προσφέρει δύο κουμπιά: παραγωγή χωρίς αποστολή, για να τη διαβάσετε πρώτα, ή παραγωγή και αποστολή στις διευθύνσεις του προγράμματος.

Η κατ απαίτηση παραγωγή έχει όριο λίγων αναφορών ανά ώρα. Η καθεμία διαβάζει κάθε συνομιλία, αξιολόγηση και εκτέλεση ελέγχου της περιόδου πριν απαντήσει, και στέλνει υπολογιστικό φύλλο με email εκτός αν ζητήσετε το αντίθετο, οπότε το όριο είναι αυτό που εμποδίζει λίγα κλικ να γίνουν φορτίο πάνω στα ίδια αρχεία που χρησιμοποιούν οι ζωντανές συνομιλίες σας. Το να δουλέψετε τους τρεις μήνες ενός τριμήνου με τη μία είναι άνετα μέσα στο όριο. Αν το φτάσετε, η κονσόλα σας το λέει και ζητά να περιμένετε λίγα λεπτά· η προγραμματισμένη αναφορά σας δεν επηρεάζεται ποτέ, γιατί το όριο αφορά μόνο την κατ απαίτηση παραγωγή.

Κάθε αριθμός στην αναφορά είναι ο ίδιος υπολογισμός που διαβάζουν το dashboard και η δική σας παρακολούθηση. Περίοδος που χτύπησε όριο ανάγνωσης το λέει στη γραμμή της: οι αριθμοί είναι τότε κατώτατο όριο πάνω στις πιο πρόσφατες συνομιλίες και όχι σε ολόκληρη την περίοδο.

Όταν το σκορ κινείται και δεν άγγιξε κανείς τον agent#

Ανοίξτε την Ανίχνευση απόκλισης δίπλα στην πύλη ανάπτυξης και το χρυσό σετ σας επαναλαμβάνεται για εσάς: σε διάστημα που ορίζετε, και ξανά όποτε αλλάζουν τα μοντέλα πίσω από τις κλήσεις σας. Κάθε εκτέλεση συγκρίνεται με την προηγούμενη του ίδιου agent, και ειδοποιείστε όταν το σκορ πέσει περισσότερο από το όριο που θέσατε.

Ειδοποιεί σε πτώση, όχι σε κατώφλι, και αυτή η διαφορά το κάνει χρήσιμο. Ένας agent που πάντα έπιανε 60 τοις εκατό σε ένα σκόπιμα δύσκολο σετ δεν αποκλίνει. Ένας που έπιασε 92 χθες και 84 σήμερα αποκλίνει, και μόνο ο δεύτερος αξίζει να ξυπνήσει κάποιον.

Η ειδοποίηση πηγαίνει στα ίδια κανάλια με τους συναγερμούς ποιότητάς σας, και κατονομάζει τις περιπτώσεις που πέρασαν την προηγούμενη φορά και αποτυγχάνουν τώρα. Μια επανάληψη δηλώνει στη λίστα εκτελέσεων γιατί έγινε: προγραμματισμένα, ή επειδή άλλαξαν τα μοντέλα.

Είναι κλειστή από προεπιλογή γιατί κάθε επανάληψη κοστίζει μία απάντηση του agent και μία βαθμολόγηση ανά ερώτηση του σετ σας.