Με την προσευχή του κατέβασε βροχή από τον ουρανό σε καιρό μεγάλης ξηρασίας και χάρισε πλούσια σοδειά στους αγρούς ολόκληρης της περιοχής. Λίγο πριν κοιμηθεί ο διδάσκαλός του Επιφάνιος, του ζήτησε να φύγει αμέσως για την Αίγυπτο, υποσχόμενος πως θα τον φροντίζει και μετά θάνατον. Ο όσιος Πολύβιος υπήρξε πιστός μαθητής του μεγάλου Επιφανίου, αρχιεπισκόπου της Κύπρου, και τον συνόδευε σε όλες τις αποστολικές του οδοιπορίες. Έγραψε μάλιστα ο ίδιος για τον βίο και για τα θαύματα του αγίου δασκάλου του με ευλάβεια και ακρίβεια.

Βρισκόταν κοντά του και όταν ο Επιφάνιος επέστρεφε με πλοίο από την Κωνσταντινούπολη με βαριά την καρδιά. Ο γέροντας ιεράρχης είχε αρνηθεί να λάβει μέρος στη σύνοδο που καταδίκαζε άδικα τον ιερό Ιωάννη τον Χρυσόστομο. Μέσα στο καράβι, ο Επιφάνιος κατάλαβε πως πλησίαζε το τέλος του και κάλεσε κοντά του τον μαθητή του. Του είπε με γαλήνη πως φεύγει από τούτη τη ζωή και του παρέδωσε την τελευταία του εντολή. Τον προέτρεψε να ξεκινήσει για την Αίγυπτο και να μη φοβηθεί τη μοναξιά του δρόμου.

Όταν ο μέγας Επιφάνιος παρέδωσε την ψυχή του στον Κύριο, ο Πολύβιος βρέθηκε μπροστά σε μια δύσκολη απόφαση μέσα στον πόνο του. Το σκήνωμα του διδασκάλου του παρέμεινε άταφο για δέκα ολόκληρες ημέρες, σύμφωνα με την αρχαία παράδοση της εκκλησίας. Ωστόσο ο μαθητής δεν περίμενε την ταφή, γιατί ήθελε να εκπληρώσει χωρίς αναβολή την εντολή του γέροντος. Πήρε τον δρόμο για την Αίγυπτο με υπακοή και ταπείνωση, στηριζόμενος στην υπόσχεση εκείνη της προστασίας.

Φτάνοντας στην πόλη Ρινοκούρουρα, τον συνάντησε ο άρχοντας του τόπου και τον ρώτησε από πού ερχόταν και ποιος ήταν. Ο όσιος αποκρίθηκε πως ερχόταν από την Κύπρο, ως μαθητής του Επιφανίου, ο οποίος είχε εκδημήσει ήδη προς τον Κύριο. Ο άρχοντας λυπήθηκε βαθιά για τον θάνατο του μεγάλου ιεράρχη και υποδέχτηκε τον επισκέπτη με τιμή και αγάπη. Τον προσκάλεσε στο σπίτι του και αμέσως φρόντισε για την ανάδειξή του σε επίσκοπο της πόλεως. Έτσι ο Πολύβιος ανέλαβε με φόβο Θεού την ποιμαντική ευθύνη του ποιμνίου της Ρινοκουρούρων.

Η εντολή του γέροντος του βρήκε την πλήρη και θαυμαστή της εκπλήρωση στην αιγυπτιακή εκείνη γη. Στη νέα του επισκοπή ο Πολύβιος έζησε με ασκητική αυστηρότητα και με αγνότητα ψυχής, αφοσιωμένος ολοκληρωτικά στο ποίμνιο και στην προσευχή. Η ζωή του ήταν γεμάτη από έργα αρετής, από φιλανθρωπία και από αδιάκοπη φροντίδα για τους πτωχούς της επαρχίας του. Για τη μεγάλη του αγιότητα και για την καθαρότητα της καρδιάς του ο Κύριος τού χάρισε το δώρο των θαυμάτων.

Κάποτε η περιοχή δοκιμάστηκε από βαριά και παρατεταμένη ανομβρία, που απείλησε με πείνα όλους τους κατοίκους της. Οι αγροί ξεράθηκαν, οι σοδειές κινδύνευσαν και ο λαός κατέφυγε με δάκρυα στον άγιο επίσκοπό του. Εκείνος ύψωσε τα χέρια του προς τον ουρανό και παρακάλεσε θερμά τον Θεό να σπλαχνιστεί τον λαό του. Αμέσως ο ουρανός άνοιξε και βροχή πλούσια κατέβηκε στη διψασμένη γη, χαρίζοντας ζωή και ελπίδα. Οι αγροί ζωντάνεψαν ξανά και η σοδειά εκείνης της χρονιάς υπήρξε εξαιρετικά πλούσια και ευλογημένη. Ο όσιος συνέχισε να ποιμαίνει την επισκοπή του με την ίδια αγάπη και μέχρι τα βαθιά γεράματα. Έφτασε σε προχωρημένη ηλικία και κοιμήθηκε εν ειρήνη τον πέμπτο μετά Χριστόν αιώνα, παραδίδοντας την ψυχή του.