Παρά την στενή του συνεργασία με τον Κωνσταντίνο Καραμανλή την περίοδο της εξορίας στο Παρίσι, δεν περιελήφθη στους συνδυασμούς της Νέας Δημοκρατίας στις εκλογές του 1974 με αποτέλεσμα να θέσει υποψηφιότητα ως ανεξάρτητος υποψήφιος βουλευτής στον νομό Χανίων. Σε αυτή την εκλογική αναμέτρηση, παρά τον μεγάλο αριθμό ψήφων που έλαβε, δεν εξελέγη.
Στο χρονικό διάστημα που μεσολάβησε από το 1974 έως και πριν τιε βουλευτικές εκλογές του 1977, ο Κωνσταντίνος Μητσοτάκης ανέλαβε πρωτοβουλίες για την ανασύσταση της Ένωσης Κέντρου. Πρότεινε μάλιστα, την σύγκλιση συνεδρίου με όλους τους υποψήφιους της Ένωσης Κέντρου στις εκλογές του 1964 και 1974 για την ανάδειξη νέας ηγεσίας και τον προσδιορισμό της πολιτικής της δράσης. Οι προσπάθειές του όμως, αποβήκαν άκαρπες και έτσι, στις 6 Σεπτεμβρίου 1977 προχώρησε στην ίδρυση του Κόμματος Νεοφιλελευθέρων. Με δήλωσή του μάλιστα, που εκδόθηκε την ίδια ημέρα, αιτιολόγησε τους λόγους που τον οδήγησαν ώστε να αναλάβει την συγκεκριμένη πρωτοβουλία. Ειδικότερα, στην εν λόγω δήλωση ο Κωνσταντίνος Μητσοτάκης ανέφερε:
"Οι επανειλημμένες προτάσεις μου για την ενοποίηση των δυνάμεων της παλιάς «Ενώσεως Κέντρου¨, με στόχο τον επαναπατρισμό των ψηφοφόρων που μετακινήθηκαν το 1974 προς τη «ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ» και τη δημιουργία του διαδόχου κυβερνητικού σχήματος έμειναν χωρίς απάντηση, πράγμα που σημαίνει άρνηση. Γι' αυτό προχωρώ στην επόμενη φάση των εξαγγελιών μου του περασμένου Μαΐου, ιδρύοντας νέα πολιτική κίνηση, με την επωνυμία «ΚΟΜΜΑ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ». Τη σχετική δήλωση κατέθεσα σήμερα στον Άρειο Πάγο, όπως προβλέπει ο νόμος. Πρόκειται για ανασύσταση του «Κόμματος Φιλελευθέρων», προσαρμοσμένου στις ανάγκες της εποχής. Με σύνθημα περισσότερη ελευθερία, περισσότερη ισότητα, περισσότερη δικαιοσύνη, περισσότερη δημοκρατία, το «ΚΟΜΜΑ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» θέτει ως μακροπρόθεσμο στόχο την ανανέωση και τον εκσυγχρονισμό της πολιτικής, οικονομικής και κοινωνικής ζωής του τόπου και την εγκαθίδρυση αληθινής δημοκρατίας. Για την πραγματοποίηση του στόχου αυτού το «ΚΟΜΜΑ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» έχει πρώτο στόχο να αποτελέσει την εναλλακτική λύση στο σημερινό πολιτικό αδιέξοδο που οδήγησε τη χώρα η ανεπάρκεια του κόμματος που κυβερνάει και η ανικανότητα της αξιωματικής αντιπολιτεύσεως. Άμεσος στόχος του «ΚΟΜΜΑΤΟΣ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» είναι να καλύψει το πολιτικό κενό, που υπάρχει σήμερα εξαιτίας της φθοράς της κυβερνήσεως και της αξιωματικής αντιπολιτεύσεως. Για το λόγο αυτό, το «ΚΟΜΜΑ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» απευθύνεται προς όλους τους Έλληνες, ιδιαίτερα όμως προς το 55% της «ΝΕΑΣ ΔΗΜΟΚΡΑΤΙΑΣ» και το 20% της ΕΔΗΚ. Η εναλλακτική λύση στους δύο αυτούς κομματικούς σχηματισμούς, που δεν μπόρεσαν μέχρι σήμερα να πείσουν, ότι είναι σε θέση να κυβερνήσουν τον τόπο και να εγγυηθούν τη συνέχεια και τη σταθερότητα του δημοκρατικού πολιτεύματος. Θα γίνουμε εμείς. Μέσα σε σύντομο χρονικό διάστημα θα ανακοινωθούν τα συλλογικά όργανα του κόμματος και η σύνθεσή τους, καθώς και το προσωρινό καταστατικό της λειτουργίας του, που συντάσσεται κιόλας από άτυπη επιτροπή. Παράλληλα, έχει γίνει προεργασία για την ίδρυση Νομαρχιακών Επιτροπών και σύντομα θα αρχίσει η εξαγγελία της ιδρύσεώς τους, ενώ αμέσως μετά την συγκρότηση των προσωρινών συλλογικών οργάνων θα οριστεί επιτροπή για την προετοιμασία του Προσυνεδρίου του Κόμματος, που ελπίζουμε να συνέλθει στους πρώτους μήνες του ερχόμενου χρόνου και αν τελικά εξαντληθεί η τετραετία, θα προσπαθήσουμε να οργανώσουμε το Συνέδριο του Κόμματος πριν από τις εκλογές του Φθινοπώρου του 1978. Το πολιτικό πρόγραμμα του Κόμματος θα επεξεργαστούν ειδικές επιτροπές, που θα οριστούν από τα προσωρινά συλλογικά όργανα και θα γνωστοποιηθεί τμηματικά και κατά τομείς. Τέλος, σταθερή απόφαση του «ΚΟΜΜΑΤΟΣ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» είναι να συμμετάσχει στις επόμενες εκλογές αυτόνομα και με συνδυασμούς σε όλη την Ελλάδα".
Το «ΚΟΜΜΑ ΝΕΟΦΙΛΕΛΕΥΘΕΡΩΝ» με επικεφαλής τον Κωνσταντίνο Μητσοτάκη, συμμετείχε στις πρόωρες εκλογές που διεξήχθησαν το Νοέμβριο του 1997 λαμβάνοντας ποσοστό 1,09% και κερδίζοντας δύο βουλευτικές έδρες. Εκτός από αυτόν, που ως επικεφαλής του κόμματος εξελέγη βουλευτής, βουλευτική έδρα έλαβε και ο Παύλος Βαρδινογιάννης.
Τον Μάιο του 1978 ο Κωνσταντίνος Καραμανλής εξήγγειλε την πολιτική της διεύρυνσης του κόμματος της Νέας Δημοκρατίας προς το Κέντρο. Ο Κωνσταντίνος Μητσοτάκης προσχώρησε στη Νέα Δημοκρατία και ανέλαβε το υπουργείο Συντονισμού στην κρίσιμη τριετία πριν από την ένταξη της Ελλάδος στην Ευρωπαϊκή Οικονομική Κοινότητα. Στην κυβέρνηση Γεωργίου Ράλλη, που σχηματίστηκε τον Μάιο του 1980, ανέλαβε το υπουργείο Εξωτερικών έως τις εκλογές του 1981. Ως υπουργός Εξωτερικών άρχισε διάλογο με την Τουρκία, επισκέφθηκε την Άγκυρα και αναθέρμανε τις ελληνοτουρκικές σχέσεις. Επιπρόσθετα, δημιούργησε σχέσεις καλής γειτονίας και συνεργασίας με της χώρες της Βαλκανικής και ανέπτυξε της σχέσεις της Ελλάδας με τον Αραβικό κόσμο όχι μόνο στον πολιτικό τομέα, αλλά και στον τομέα του εμπορίου, της οικονομίας, της τεχνικής και της μορφωτικής συνεργασίας. Παράλληλα πέτυχε την επανένταξη της Ελλάδος στο στρατιωτικό σκέλος του ΝΑΤΟ, από το οποίο είχε η χώρα αποχωρήσει το 1974 λόγω της παθητικής στάσης της συμμαχίας έναντι της τουρκικής εισβολής στην Κύπρο. Από τον Οκτώβριο του 1981 μέχρι τον Αύγουστο του 1984 διετέλεσε κοινοβουλευτικός εκπρόσωπος της Νέας Δημοκρατίας.
Έπειτα από την δήλωση παραίτησης του Ευάγγελου Αβέρωφ από την ηγεσία της Νέας Δημοκρατίας στις 29 Αυγούστου 1984, στις 31 Αυγούστου 1984 ο Κωνσταντίνος Μητσοτάκης ανακοινώνει την υποψηφιότητά του για την αρχηγία της Νέας Δημοκρατίας. Την πρόταση υποψηφιότητάς του, υπέγραφαν οι βουλευτές Σωτήρης Κούβελας, Γιώργος Σούρλας, Βασίλης Μαντζώρης, Αθανάσιος Ξαρχάς και Άννα Συνοδινού.
Σε σχετική του δήλωση έπειτα από την υποβολή της υποφηφιότητάς του, ο Κωνσταντίνος Μητσοτάκης τόνισε:
"Έχω ήδη δηλώσει και θεωρώ χρέος μου να επαναλάβω και πάλι ότι θα αποδεχθώ οποιοδήποτε και αν είναι το αποτέλεσμα της ψηφοφορίας που θα διεξαχθεί αύριο. Πιστός μαχητής της μεγάλης φιλελεύθερης παρατάξεως μας, θα συνεχίσω να μάχομαι σε όποια έπαλξη το κόμμα καθορίσει. Είμαι βέβαιος ότι αύριο το κόμμα μας αρχίζει μια καινούρια εξόρμηση για την τελική νίκη".
Την 1η Σεπτεμβρίου 1984 εξελέγη από την Κοινοβουλευτική Ομάδα της Νέας Δημοκρατίας πρόεδρος του κόμματος με μεγάλη πλειοψηφία. Συγκεκριμένα, ο Κωνσταντίνος Μητσοτάκης έλαβε 70 ψήφους υπέρ, έναντι 41 ψήφων που έλαβε ο έτερος διεκδικητής της ηγεσίας, Κωστής Στεφανόπουλος. Αμέσως μετά την ανακοίνωση του αποτελέσματος της εσωκομματικής διαδικασίας, ο Κωνσταντίνος Μητσοτάκης μίλησε ως νέος αρχηγός του κόμματος, στην Κοινοβουλευτική Ομάδα της ΝΔ, δίνοντας το πολιτικό του στίγμα και σκιαγραφώντας την αντιπολιτευτική του στρατηγική απέναντι στο ΠΑ.ΣΟ.Κ και τον Ανδρέα Παπανδρέου. Ειδικότερα, κατά την ομιλία του τόνισε:
"Με βαθύτατη συγκίνηση εκφράζω τις εγκάρδιες ευχαριστίες μου προς την Κοινοβουλευτική Ομάδα, που με την ελεύθερη και υπεύθυνη ψήφο της με ανέδειξε πρόεδρο της Νέας Δημοκρατίας. Αισθάνομαι μεγάλη την τιμή και βαρύ το χρέος. Είναι φυσικό να αναμετρά κανείς τις ευθύνες του στην κορυφή ενός κόμματος που ίδρυσε και κατηύθυνε μία από τις ισχυρότερες πολιτικές προσωπικότητες στον ευρωπαϊκό χώρο, ο Κωνσταντίνος Καραμανλής, που ελάμπρυνε η δημοκρατική ευαισθησία και σωφροσύνη του Γεωργίου Ράλλη και ανύψωσε πάλι σε μεγάλη πολιτική δύναμη της χώρας η ακάματη δημιουργική δραστηριότητα, το υψηλό πολιτικό ήθος και η προσωπική γενναιότητα του Ευάγγελου Αβέρωφ. Σε μένα υπολείπεται να διαβεβαιώσω τους συναδέλφους μου και τον ελληνικό λαό ότι θα αναλώσω όλες μου τις δυνάμεις στην υπηρεσία του κόμματος και των ιδεών του και ότι όλοι μαζί, ενωμένοι και ανανεωμένοι, σύντομα θα οδηγήσουμε τη μεγάλη παράταξη μας στη νίκη και στην εξουσία".
Στη συνέχεια περιέγραψε τα βασικά καθήκοντα των βουλευτών και των στελεχών του κόμματος κατά τη νέα περίοδο στα πολιτικά δρώμενα της ΝΔ τονίζοντας: "...Πρώτον, από τη στιγμή αυτή, που περατώθηκε η διαδικασία της διαδοχής και εκφράστηκε η βούληση της Κοινοβουλευτικής Ομάδας, τίθεται τέρμα στις εύλογες και δημοκρατικά θεμιτές διαφορές απόψεων που αναφέρονται στις προσωπικές προτιμήσεις. Από αυτή τη στιγμή είμαστε και πάλι άρρηκτα αδελφωμένοι οι συμπαγείς 111, αφού εκπληρώσαμε δημοκρατικότατα το καθήκον. (...) Δεύτερον, με την πολύτιμη συνεργασία του αγαπητού φίλου μου, Κωστή Στεφανόπουλου, θα χαλυβδώσουμε την ενότητα αυτού του κόμματος, από την οποία εξαρτάται το μέλλον του. Θα προστατευθεί με όλους τους τρόπους το θεμελιώδες δικαίωμα της κριτικής και του ενδοκομματικού διαλόγου. (...) Τρίτον, θα αγωνισθούμε με όλους τους τρόπους για ήπιο πολιτικό κλίμα, αποτροπή της οξύτητας και πολιτική μετριοπάθεια. Οι ισχυροί δεν καταφεύγουν στην οξύτητα. Είναι αρκετή γι' αυτούς η σταθερή, ανένδοτη αγωνιστικότητα και η αξιοπρεπής ευθύτητα. (...) Τέταρτον, βασικός στόχος μας είναι, όπως και ο παραιτηθείς αρχηγός της Νέας Δημοκρατίας διακήρυξε, η συμφιλίωση του ελληνικού λαού, που κινδυνεύει να τον διχάσει η μισαλλοδοξία και το κομματικό πάθος σε στιγμές κρίσιμες για τον ελληνισμό. Πέμπτον, φιλοδοξία μας είναι να θεμελιώσουμε ένα νέο δημόσιο ήθος, όπου η επικοινωνία με τον λαό θα είναι άμεση, τακτική, ειλικρινής. Ούτε απραγματοποίητες υποσχέσεις ούτε παραπλανητικές δηλώσεις ούτε δημαγωγικά προγράμματα. (...) Έκτον, στόχος μας είναι ένα σύγχρονο κόμμα. Θα προχωρήσουμε αποφασιστικά στην ανανέωση, που δεν σημαίνει απλώς νέα στην ηλικία πρόσωπα, αλλά και πρόσωπα που δεν δοκιμάστηκαν ως τώρα, με νέες ιδέες και καινοτόμο φαντασία. Και η ανανέωση πρέπει απαραίτητα να συνδυαστεί με την αξιοκρατία, που ειδικότερα υπό τις σημερινές περιστάσεις αποτελεί εθνική ανάγκη. Χωρίς προσήλωση σε δόγματα, θα αποδείξουμε ότι το κόμμα μας μπορεί να ισορροπεί το παρελθόν με το μέλλον, την παράδοση με την πρόοδο, την ελευθερία με την δικαιοσύνη, το ρεαλισμό με την φαντασία..."
Σχολιάζοντας την πολιτική κατάσταση της χώρας, ο Κωνσταντίνος Μητσοτάκης τόνισε: "...Η χώρα μας, αγαπητοί συνάδελφοι, περνά μια από τις πιο κρίσιμες φάσεις της σύγχρονης ιστορίας της. Η έλλειψη σοβαρότητας και οι μονομερείς εξωτερικοί προσανατολισμοί του κόμματος που κυβερνά απειλούν τα ερείσματα μας και τις πατροπαράδοτες και κρίσιμες φιλίες μας σε στιγμές υψίστων εθνικών κίνδυνων. Η ελληνική οικονομία δοκιμάζεται από το δογματισμό, τον ερασιτεχνισμό και την δημαγωγία, έτσι που να μην υπάρχουν ελπίδες για ανάκαμψη, τη στιγμή που η ευρωπαϊκή και η αμερικανική οικονομία μπήκαν σε φάσεις νέας αναπτύξεως και οι εργαζόμενες τάξεις, οι μικρομεσαίοι και μη προνομιούχοι υποφέρουν, στραγγαλίζεται δε από κομματικό πάθος η ιδιωτική πρωτοβουλία. Στο εσωτερικό συντελείται βαθμιαία, καίτοι με παλινωδίες και παραπλανητικούς εφησυχασμούς, η διολίσθηση του καθεστώτος προς τον μονοκομματισμό. Ο κοινοβουλευτισμός έχει νοθευτεί, το υπουργικό συμβούλιο έχει αχρηστευτεί, η πολιτική ευθύνη έχει υποβαθμιστεί με τις εξωκοινοβουλευτικές υπουργοποιήσεις, η κατάργηση του σταυρού έχει τραυματίσει την λαϊκή κυριαρχία, η διοίκηση έχει κομματικοποιηθεί και εξαρθρωθεί, η αντικειμενικότητα της πληροφόρησης εξέλιπε, ο ελεύθερος συνδικαλισμός μετετράπη σε κρατικό, η εξουσία προσωποποιείται, η οικονομία γίνεται κολεκτιβιστική και ένα φράγμα υψώνεται ανάμεσα στον λαό και στην κυβέρνηση..."
Ολοκληρώνοντας την περιγραφή της πολιτικής κατάστασης της χώρας, ο Κώστας Μητσοτάκης αναφέρθηκε στην οργάνωση του κόμματος: "...Πριν απ' όλα, αγαπητοί συνάδελφοι, έχουμε χρέος να σφυρηλατήσουμε έναν κομματικό μηχανισμό που η πρόσφατη εκλογική δοκιμασία χαλύβδωσε, έτσι ώστε καμιά γωνιά της Ελλάδας να μην είναι χωρίς την σημαία της Νέας Δημοκρατίας. Αυτό μέσα στην συντομότερα δυνατή προθεσμία. Πρέπει να επεκτείνουμε τις επαγγελματικές οργανώσεις, την δημοκρατική ανάδειξη των οργάνων μας, την πλήρη, έγκαιρη και αντικειμενική ενημέρωση του λαού στο εσωτερικό και εξωτερικό και την συστηματική κινητοποίηση των οπαδών μας εισάγοντας νέα τεχνική και νέα μέσα επικοινωνίας, χωρίς μίμηση των αντιπάλων μας. θα καταβληθεί κάθε προσπάθεια για την σύντομη σύγκληση του συνεδρίου μας, για το οποίο ειδική ομάδα εργασίας θα προπαρασκευάσει τις αναγκαίες προσαρμογές του καταστατικού. Εκείνο που μπορώ να βεβαιώσω την στιγμή αυτή είναι ότι θα προασπίσω με όλες μου τις δυνάμεις και την δική σας συνδρομή την αυτονομία του κόμματος και θα εφαρμόσω με αμεροληψία και αυστηρότητα την αξιοκρατική αρχή στις επιλογές προσώπων σ' όλες τις εκδηλώσεις της κομματικής μας δραστηριότητας και την παροχή ίσων ευκαιριών σε όλους. Δεν είναι η στιγμή για ευρύτερες προγραμματικές ανακοινώσεις. Κρίνω, όμως, σκόπιμο, φίλοι συνάδελφοι, να υπογραμμίσω ορισμένα χρήσιμα και κρίσιμα σημεία, γύρω από τα οποία θα επιδιωχθεί η άσκηση της πολιτικής μας, όταν ο λαός μάς καλέσει να βγάλουμε την χώρα από το σημερινό αδιέξοδο. Σύντομα θα τεθεί σε κυκλοφορία για την ενημέρωση του λαού το ιδεολογικό μας μανιφέστο, που θα συγκεκριμενοποιεί την ιδεολογία του ριζοσπαστικού φιλελευθερισμού σε όλους τους τομείς. Βασική διακήρυξη μας παραμένει ότι είμαστε υπέρ της ελευθερίας και της κοινωνικής δικαιοσύνης. Τόση ελευθερία όση είναι δυνατή. Τόση παρέμβαση όση είναι αναγκαία. Η προοδευτικότητα μας δεν αποδεικνύεται μόνο από την πραγματική εθνική μας προσφορά. Ούτε από την ιδιαίτερη στροφή μας στην ελληνική μεσότητα και την κεντρώα συμπεριφορά, που αποβλέπει στο να αποπαγιδεύσει από το ΠΑΣΟΚ τους κεντρώους εκλογείς, που εμείς οι ίδιοι έχουμε αμελήσει να τους πείσουμε ότι ούτε ο Μαρξ ούτε ο Λένιν ούτε ο Τρότσκι είναι ομοϊδεάτες του Ελευθερίου Βενιζέλου, του Σοφοκλή Βενιζέλου, του Γεωργίου Παπανδρέου, του Αλέξανδρου Παπάγου ή του Κωνσταντίνου Καραμανλή. Ο φιλελευθερισμός μας κάνει αναγκαία την αποκέντρωση εξουσίας, που κατοχυρώνει την ελευθερία ατόμου και πολιτείας, ενώ ο ριζοσπαστισμός μας υποδηλώνει την αποδοχή της συνεχούς προσαρμογής των θεσμών στην σύγχρονη τεχνική, επιστημονική και κοινωνική πρόοδο. Από την άποψη αυτή, απευθυνόμενοι προς την υγιά ιδιωτική πρωτοβουλία, στέλνουμε μήνυμα αισιοδοξίας. Σύντομα θα πραγματοποιηθούν οι αναγκαίες αποκρατικοποιήσεις και η παντοδύναμη ελληνική δημιουργικότητα θα επαναλάβει την οικονομική της προσφορά. Το κόμμα μας είναι και παραμένει κόμμα του λαού, χωρίς ταξικές προκαταλήψεις και μισαλλοδοξίες. Η Νέα Δημοκρατία είναι το πραγματικό κόμμα του αγρότη, του εργάτη, του υπάλληλου, του βιοτέχνη. Το έχει αποδείξει η πολιτική της. Και θα το αποδείξει περισσότερο στο μέλλον. Πιστεύουμε στην ισορροπία και συνεργασία των κοινωνικών ομάδων. Και δεν επιδιώκουμε την ανύψωση της μιας με την καταστροφή της άλλης. Για άλλη μία φορά εκφράζω προς όλους και προς τον ελληνικό λαό τις ευχαριστίες μου. Στρατευμένος από σήμερα εντονότερα στην μεγάλη εθνική και πολιτική μάχη, υπόσχομαι και πάλι να αναλώσω τις δυνάμεις μου στον μεγάλο σκοπό και να επιτύχουμε από κοινού πλήρη και σύντομη νίκη της παρατάξεως μας. Το κατ' εμέ επιθυμώ να επαναλάβω την βαρειά φράση από τον όρκο των Αθηναίων: «Αμυνώ υπέρ των ιερών και οσίων και μόνος και μετά πολλών»".
Με την ανάληψη της ηγεσίας τους κόμματος από τον Κωνσταντίνο Μητσοτάκη, ξεκινά μια νέα δημιουργική εποχή για την Νέα Δημοκρατία. Ο Μητσοτάκης θέτει ως πρωταρχικό του μέλημα τον εκσυγχρονισμό και την αναγέννηση του κόμματος και γι' αυτό, προχώρησε ταχύτατα στην οργανωτική ανασυγκρότηση της ΝΔ και της νεολαίας του κόμματος (ΟΝΝΕΔ).