Ο Νικόλαος Γύζης γεννήθηκε στην Τήνο και ήταν ένα από τα έξι παιδιά του ξυλουργού Ονούφριου Γύζη. Το 1850, στην Αθήνα πια, ο μικρός Νικόλαος άρχισε να παρακολουθεί μαθήματα στην Σχολείο των Τεχνών (μετέπειτα Ανωτάτη Σχολή Καλών Τεχνών), αρχικά ως ακροατής και, από το 1854 έως το 1864, ως κανονικός σπουδαστής.
Με το τέλος των σπουδών του εξασφάλισε υποτροφία από το Ευαγές Ίδρυμα του Ναού της Ευαγγελιστρίας της Τήνου, προκειμένου να συνεχίσει τις σπουδές του στην Βασιλική Ακαδημία Καλών Τεχνών του Μονάχου.
Τον Ιούνιο του 1865, ο Γύζης φτάνει στο Μόναχο, όπου συνάντησε τον συνάδελφο και φίλο του Νικηφόρο Λύτρα. Ο τελευταίος τον βοήθησε στο να εγκλιματιστεί γρήγορα στο γερμανικό περιβάλλον. Τον Ιούνιο του 1868, έγινε δεκτός στο εργαστήριο του Καρλ φον Πιλότυ (Karl von Piloty).
Τον Απρίλιο του 1872 επέστρεψε στην Αθήνα, για να μετατρέψει το πατρικό του σπίτι επί της οδού Θεμιστοκλέους σε ατελιέ. Απογοητευμένος από τις συνθήκες της Ελλάδας, τον Μάιο του 1874 εγκατέλειψε την Αθήνα και επέστρεψε στο Μόναχο, όπου έμελλε να ζήσει για το υπόλοιπο της ζωής του.
Το 1880, ανακηρύχθηκε σε επίτιμο μέλος της Ακαδημίας Καλών Τεχνών του Μονάχου και το 1888 εκλέχθηκε τακτικός καθηγητής στο ίδιο ίδρυμα. Το 1895, επισκέφθηκε για τελευταία φορά την Ελλάδα, την οποία ποτέ δεν ξέχασε και πάντα νοσταλγούσε. Προσβεβλημένος από λευχαιμία, πέθανε στο Μόναχο στις αρχές του 1901. Η σορός του ενταφιάστηκε στο Βόρειο Νεκροταφείο του Μονάχου.
Ο Νικόλαος Γύζης ήταν ένας από τους πιο σημαντικούς Έλληνες ζωγράφους του 19ου αιώνα. Διακρίθηκε σε όλα τα χρόνια των σπουδών του και πήρε τα πρώτα βραβεία στην ξυλογραφία, τη ζωγραφική και τη χαλκογραφία.