Γεννήθηκε στο Βερολίνο το 1873. Μεγάλωσε σε ένα ευρωπαϊκό, επιστημονικό και αριστοκρατικό περιβάλλον, με ζωντανά τα στοιχεία της ελληνορθόδοξης οικογενειακής καταγωγής. Πέρασε τα παιδικά του χρόνια στις Βρυξέλλες, όπου ο πατέρας του ήταν πρέσβης τηςΥψηλής Πύλης από το 1875, με αποτέλεσμα να έχει ως μητρική γλώσσα τα ελληνικά και τα γαλλικά. Πριν ακόμη μπει στην εφηβεία μιλούσε τουρκικά και γερμανικά.
Το 1886 γράφτηκε στο γυμνάσιο Ατενέ Ρουαγιάλ των Βρυξελλών, από όπου αποφοίτησε το 1891. Στο Βέλγιο τότε γινόταν διαγωνισμός μαθηματικών στον οποίο κλήθηκε η τάξη του να διαγωνιστεί για δύο χρονιές κατά σειρά και ο Καραθεοδωρή πήρε την πρώτη θέση και τις δύο χρονιές.
Σπούδασε πολιτικός μηχανικός στη Στρατιωτική Σχολή του Βελγίου στις Βρυξέλλες. Από εκεί μετακομίζει στην Κρήτη και μετά στην Αίγυπτο. Στην Αίγυπτο, ο Καραθεοδωρή κατάλαβε πόσο μεγάλη γοητεία και επιρροή ασκούσαν επάνω του τα Μαθηματικά και συνειδητοποίησε πως η δουλειά του μηχανικού δεν ικανοποιούσε το πνεύμα του. Έτσι το 1900, ο 27χρονος πια Καραθεοδωρή εγκαταλείπει το επάγγελμα του μηχανικού και να πάει στην Γερμανία για να σπουδάσει Μαθηματικά. Για δύο χρόνια παρακολούθησε μαθήματα Μαθηματικών στο Πανεπιστήμιο του Βερολίνου.
Το 1902, ο Καραθεοδωρή μεταγράφηκε στο Πανεπιστήμιο του Γκέτινγκεν για να κάνει διδακτορική διατριβή υπό την επίβλεψη του Χέρμαν Μινκόβσκι. Το Γκέτινγκεν εκείνη την εποχή είχε θεωρηθεί σαν το μεγαλύτερο κέντρο των Μαθηματικών και δύο διάσημοι καθηγητές, ο Νταβίντ Χίλμπερτ και ο Φέλιξ Κλάιν, δίδασκαν εκεί. Αυτοί οι δύο σπουδαίοι μαθηματικοί επέδρασαν πολύ στη ζωή και στη σταδιοδρομία του ως μαθηματικού. Ο Καραθεοδωρή αναγορεύτηκε διδάκτορας στο Πανεπιστήμιο του Γκέτινγκεν το 1904, τον επόμενο χρόνο αναγορεύτηκε υφηγητής των Μαθηματικών στο Πανεπιστήμιο του Γκέτινγκεν. Στο ίδιο πανεπιστήμιο δίδαξε μέχρι το 1908.
Από το 1909 έως το 1920 δίδαξε Μαθηματικά σε διάφορα γερμανικά ακαδημαϊκά ιδρύματα: Αννόβερο, Μπρέσλαου (Βρότσλαβ στην σημερινή Πολωνία), Γκέτινγκεν και Βερολίνο. Η φήμη του ως μαθηματικού τον έφερε σε φιλική και επαγγελματική επαφή με άλλους μεγάλους ομολόγους της εποχής του όπως ο Μαξ Πλανκ (Max Planck), ο Άλμπερτ Αϊνστάιν, ο Σβαρτς, ο Φρομπένιους, ο Σμιτ, ο Ντάβιντ Χίλμπερτ, ο Κλάιν, κ.ά.
Ιδιαίτερη ήταν η σχέση που συνέδεε τον Καραθεοδωρή με τον Άλμπερτ Αϊνστάιν. Οι δύο άνδρες γνωρίσθηκαν το 1915 διατήρησαν μια επιστημονική σχέση, στηριγμένη στην αλληλοεκτίμηση και σεβασμό. Τότε άρχισε και το ενδιαφέρον του Καραθεοδωρή για την Θεωρία της Σχετικότητας.
Ο Καραθεοδωρή άρχισε να συγγράφει επιστημονικές μελέτες ήδη από τον καιρό που εργάζονταν ως μηχανικός στην Αίγυπτο. Οι έρευνες του, τις οποίες δημοσίευσε κυρίως στα γερμανικά, συνθέτουν ένα τεράστιο και πολύπλευρο έργο, το οποίο τον κατατάσσει μεταξύ των μεγαλύτερων μαθηματικών.
Καταπιάστηκε με όλους σχεδόν του κλάδους των Μαθηματικών: θεωρία πραγματικών συναρτήσεων, θεωρία μιγαδικών συναρτήσεων, διαφορικές εξισώσεις, θεωρία συνόλων και διαφορική γεωμετρία, σύμμορφες απεικονίσεις κ.ά.
Οι μαθηματικές του αποδείξεις χαρακτηρίζονται από «κομψότητα και απλότητα», αλλά και αυστηρότητα που δίνει απόλυτη ασφάλεια στα συμπεράσματα που προκύπτουν. Με την συμβολή του στον Λογισμό των Μεταβολών βοήθησε στην ανάπτυξη της Γενικής Θεωρίας της Σχετικότητας προκαλώντας τον θαυμασμό του ίδιου του Αϊνστάιν.
Η συμβολή του στην Θεωρητική Φυσική ήταν ουσιαστική στην μαθηματική θεμελίωση τομέων της Φυσικής όπως η Θερμοδυναμική, η Γεωμετρική Οπτική, η μηχανική και η Σχετικότητα.
Το 1909 δημοσίευσε μία εργασία με τίτλο «Έρευνα επί των βάσεων της Θερμοδυναμικής» στο περιοδικό Mathematische Annalen. Η εργασία αυτή έγινε ευρέως γνωστή στους κύκλους των φυσικών μόνο το 1921 από ένα σχετικό άρθρο του Μαξ Μπορν (Max Born) στο περιοδικό Physikalische Zeitschrift. Στην εργασία του 1909 περιέχεται και η περίφημη Αρχή Καραθεοδωρή «σε κάθε κατάσταση θερμοδυναμικής ισορροπίας ενός συστήματος υπάρχουν μερικές απείρως γειτονικές καταστάσεις ισορροπίας στις οποίες δεν μπορούμε να φτάσουμε με αδιαβατικές μεταβολές».
Με απλά αξιώματα και υποθέσεις, ο Καραθεοδωρή κατόρθωσε να φτάσει στον ορισμό θεμελιωδών θερμοδυναμικών μεγεθών όπως της εντροπίας, χωρίς καμία αναφορά σε θερμοδυναμικούς κύκλους κ.λπ.
Το 1911, μετά από πρόσκληση του Ελευθέριου Βενιζέλου, ο Καραθεοδωρή συμμετείχε στην επιτροπή επιλογής καθηγητών για το Πανεπιστήμιο Αθηνών.
Το 1920, πάλι με πρόσκληση του Βενιζέλου, ανέλαβε να οργανώσει το Ιώνιο Πανεπιστήμιο στη Σμύρνη. Η απόφαση του Καραθεοδωρή να επιστρέψει στην πατρίδα του προκειμένου να της φανεί χρήσιμος, παρόλο που μεσουρανούσε στη Γερμανία, είναι μάλλον ενδεικτική της αγάπης του για την Ελλάδα.
Στην Σμύρνη ο Καραθεοδωρή έμεινε μέχρι την κατάρρευση του μικρασιατικού μετώπου τον Αύγουστο του 1922. Όταν οι Τούρκοι εισέβαλαν στην πόλη, ο 49χρονος Καραθεοδωρή κατόρθωσε να διασώσει τη βιβλιοθήκη και πολλά από τα εργαστηριακά όργανα του Ιονίου Πανεπιστημίου και να τα μεταφέρει στο Πανεπιστήμιο Αθηνών. Η δωρεά Καραθεοδωρή βρίσκεται μέχρι τις μέρες μας στο Μουσείο Φυσικών Επιστημών του Πανεπιστημίου Αθηνών.
Το 1922 διορίστηκε καθηγητής στο Πανεπιστήμιο Αθηνών και το 1923 διορίσθηκε καθηγητής στο Εθνικό Μετσόβιο Πολυτεχνείο.
Μάλλον απογοητευμένος από την μίζερη κατάσταση των ελληνικών πανεπιστημίων, εγκατέλειψε την Ελλάδα το 1924, για να αναλάβει καθηγητική θέση στο Πανεπιστήμιο του Μονάχου, που εκείνο τον καιρό ήταν το δεύτερο μεγαλύτερο πανεπιστήμιο της Γερμανίας και δίδασκαν σ’ αυτό κορυφαία ονόματα.
Το Νοέμβριο του 1926, έγινε μέλος στη νεοϊδρυθείσα Ακαδημία Αθηνών για την τάξη των Θετικών Επιστημών. Το 1928, ανταποκρινόμενος σε πρόσκληση από το Πανεπιστήμιο Χάρβαρντ και την Αμερικανική Μαθηματική Εταιρεία, επισκέφθηκε τις ΗΠΑ μαζί με την γυναίκα του για έναν σχεδόν χρόνο, για να δώσει διαλέξεις σε διάφορα αμερικανικά πανεπιστήμια, ανάμεσά στα οποία το Πανεπιστήμιο Πρίνστον, το Πανεπιστήμιο της Πενσυλβάνια, το Πανεπιστήμιο του Τέξας στο Ώστιν και άλλα.
Το 1930, πάλι μετά από πρόσκληση του Ελευθέριου Βενιζέλου, ανέλαβε καθήκοντα κυβερνητικού επιτρόπου στο Πανεπιστήμιο Αθηνών και το Πανεπιστήμιο Θεσσαλονίκης για να βοηθήσει στην αναδιοργάνωση του πρώτου και στην οργάνωση του (νεοσύστατου) δεύτερου.
Το 1932, επέστρεψε στην έδρα του στο Μόναχο και παρέμεινε στην πόλη αυτή, ακόμα και μέσα στα δύσκολα χρόνια του Β΄ Παγκοσμίου Πολέμου. Το 1945, διάφορα αμερικανικά πανεπιστήμια τον προσκάλεσαν για να εγκατασταθεί και να διδάξει στις ΗΠΑ, αλλά προτίμησε να μείνει στη Γερμανία, αφού ήταν ηλικιωμένος και είχε ήδη χάσει την σύντροφό του.
Τον Δεκέμβριο του 1949 έδωσε την τελευταία του διάλεξη στο Μόναχο. Πέθανε δύο μήνες αργότερα. Η σορός του ενταφιάστηκε στο Κοιμητήριο Waldfriedhof του Μονάχου.
Υπήρξε μέλος των ακαδημιών Βερολίνου (1919), Γκέτινγκεν (1920), Μονάχου (1925), Κολωνίας (1926, Αθηνών (1927) και Ρώμης (1929).
