Υπήρξε πιστός μαθητής του μεγάλου αγίου Επιφανίου της Κύπρου και έγραψε ο ίδιος τα θαύματα του δασκάλου του. Ο διδάσκαλός του τού είπε ξαφνικά πάνω στο πλοίο, ότι σύντομα θα εγκατέλειπε τη ζωή και τον προέτρεψε να φύγει για την Αίγυπτο. Ο άγιος Πολύβιος υπήρξε ένας από τους πιο εκλεκτούς μαθητές του αγίου Επιφανίου, αρχιεπισκόπου της Κύπρου. Συνόδευε τον διδάσκαλό του σε όλα τα ταξίδια του και βρισκόταν δίπλα στις δύσκολες στιγμές. Έγραψε ο ίδιος τον βίο και τα θαύματα του αγίου Επιφανίου και διέσωσε πολύτιμες πληροφορίες για την Εκκλησία.

Ο άγιος Επίφάνιος είχε αρνηθεί να συμμετάσχει σε κάποια Σύνοδο που καταδίκασε άδικα τον άγιο Ιωάννη τον Χρυσόστομο. Όταν ο Επιφάνιος έπλεε από την Κωνσταντινούπολη και επέστρεφε προς την Κύπρο, αρρώστησε σοβαρά πάνω στο πλοίο. Όταν κατάλαβε ότι το τέλος του πλησίαζε, στράφηκε στον αγαπητό μαθητή του Πολύβιο και του φανέρωσε την εντολή του. Του είπε με αγάπη να εκπληρώσει την παραγγελία του και να μεταβεί αμέσως στην Αίγυπτο μετά τον θάνατό του. Πρόσθεσε ότι ο ίδιος ακόμα και μετά τον θάνατό του θα φρόντιζε ουρανίως για το πνευματικό του παιδί.

Ο μαθητής δέχθηκε την παραγγελία με υπακοή και ταπείνωση, χωρίς να αμφισβητήσει το θέλημα του γέροντα. Όταν ο άγιος Επιφάνιος αναπαύθηκε εν Κυρίω, ο Πολύβιος δεν περίμενε καν την ταφή του διδασκάλου του. Το άγιο σώμα του Επιφανίου παρέμεινε άταφο επί δέκα ολόκληρες ημέρες, σύμφωνα με τις γραπτές μαρτυρίες της παραδόσεως. Ο Πολύβιος ξεκίνησε αμέσως για την Αίγυπτο και υπάκουσε ταπεινά στη διαθήκη του δασκάλου του Επιφανίου. Στην Αίγυπτο τον συνάντησε ο τοπικός άρχοντας της Ρινοκυρίας και του ζήτησε πληροφορίες για την προέλευσή του.

Ο μαθητής απάντησε ότι ερχόταν από την Κύπρο, καθώς ήταν υπηρέτης του αρχιεπισκόπου Κύπρου Επιφανίου, που είχε αναπαυθεί. Ο άρχοντας λυπήθηκε βαθύτατα για τον θάνατο του οσίου Επιφανίου, τον οποίο θαύμαζε και αγαπούσε. Προσκάλεσε τον άγιο Πολύβιο στο σπίτι του και τον φιλοξένησε με μεγάλη ευλάβεια και τιμή. Έπειτα τον τοποθέτησε επίσκοπο της δικής του πόλεως, δηλαδή της Ρινοκυρίας στην Αίγυπτο εκείνης της εποχής. Έτσι εκπληρώθηκε η προφητική εντολή του οσίου Επιφανίου, ότι ο διδάσκαλος θα φρόντιζε ουράνια για τον μαθητή του.

Ο νέος επίσκοπος ξεκίνησε αμέσως το ποιμαντικό του έργο, με ζήλο και πατρική φροντίδα προς το ποίμνιο. Παρέμεινε υπόδειγμα αρετής και αυτοθυσίας μέσα στην επισκοπική του διακονία επί πολλά συνεχή έτη της ζωής. Δίδασκε αδιάκοπα τον λαό και τέλειωνε με συνέπεια όλα τα ποιμαντικά του καθήκοντα ενώπιον του Κυρίου. Για την ενάρετη και άμεμπτη ζωή του ο άγιος Πολύβιος αξιώθηκε από τον Κύριο της δωρεάς της θαυματουργίας. Με τη θερμή του προσευχή κατέβασε βροχή από τους ουρανούς, σε εποχή μεγάλης ξηρασίας στην περιοχή του.

Πολλαπλασίασε με αυτόν τον τρόπο τους καρπούς των αγρών και χάρισε στους πιστούς πλούσια συγκομιδή. Έσωσε ολόκληρο τον λαό από τη φοβερή πείνα που είχε αρχίσει να απειλεί τους κατοίκους εκείνης της περιοχής. Ο λαός τον τίμησε ως αληθινό πατέρα και προστάτη της πόλεως, στις δύσκολες ώρες της ζωής. Με τη φωτεινή του ποιμαντική και τη θαυματουργική του χάρη ο άγιος Πολύβιος αναδείχθηκε σε στύλο της εκκλησίας. Έφτασε σε βαθιά γεράματα και αναπαύθηκε εν Κυρίω κατά τον πέμπτο μετά Χριστόν αιώνα της Εκκλησίας.

Έλαβε τη μερίδα των δικαίων στους ουρανούς και συνηριθμήθη μαζί με τους ένδοξους πατέρες της Εκκλησίας του Χριστού. Η γραπτή του παραγωγή για τη ζωή και τα θαύματα του αγίου Επιφανίου παρέμεινε πολύτιμη πηγή. Έκανε γνωστή στις μετέπειτα γενεές ολόκληρη την ασκητική και επισκοπική πορεία του μεγάλου εκείνου πατρός της Κύπρου. Η Ορθόδοξη Εκκλησία τον τιμά στις δώδεκα Μαΐου, με ψαλμούς, ευλάβεια και πανηγυρική λειτουργία προς δόξαν Θεού. Με τις πρεσβείες του αγίου Πολυβίου επισκόπου Ρινοκυρίας, αξίωσε και εμάς Κύριε, της επουρανίου σου βασιλείας.