Sophia heißt auf Griechisch Weisheit. Die Sophisten oder altgriechisch sophistai der Antike waren zunächst nichts anderes als Weisheitslehrer, die jungen Leuten gegen Bezahlung die Grundlagen der griechischen Philosophie (›Liebe zur Weisheit‹) und vor allem der Rhetorik beibrachten. Redekunst wurde in der aufblühenden Demokratie Athens zu einer wichtigen Fähigkeit für alle, die politisch Einfluss erlangen wollte. Philosophisch gesehen waren die Sophisten eine wenig einheitliche Gruppe. Versuche, sie aufgrund einer recht schmalen Quellenbasis von originalen Texten irgendeiner Denkrichtung zuzuordnen, sind immer heikel. Kant zum Beispiel rechnete die Sophisten zu den Skeptizisten, die alle überlieferten Dogmen infrage stellten.
Schon in der Antike trug Platon dazu bei, dass das Wort Sophist einen negativen Beiklang bekam. Ins Deutsche gelangte das maskuline Substantiv Sophist dann um 1500 durch die neue Rezeption griechischen Bildungsgutes. Als Sophist gilt seitdem jemand, der zwar über oft herausragende rhetorische Fähigkeit verfügt, mit ihnen aber nicht zu einer wirklichen philosophischen Erkenntnis gelangt, sondern nur Rabulistik und Haarspalterei betreibt. Im schlimmsten Fall hinterfragt der Sophist mit geschliffenen Argumenten jedwede Position und letztlich die Möglichkeit, Wahres und Falsches zu unterscheiden.
Martin Luther gebrauchte das Wort abwertend für die Vertreter des alten Glaubens im Sinne einer bibelfernen Scholastik. Als 1523 die beiden zum Protestantismus übergetretenen Augustinermönche Hendrik Vos und Johannes van Esschen in Brüssel auf dem Scheiterhaufen verbrannt wurden, dichtete Luther ein Lied, in dem er den Tod der beiden ersten Märtyrer der Reformation beklagte. Veröffentlich wurde es 1524 unter dem Titel »Eynn hubsch Lyed von denn zcweyen Marterern Christi, zu Brussel von den Sophisten zcu Louen verbrandt«. Luther imaginiert darin die Versuche scholastischer Gelehrter der Universität Löwen, die beiden Mönche zur Abkehr von ihren neu gewonnenen Überzeugungen zu bringen: »Sie sungen sueß, sie sungen sawr, versuchten manche lystenn, die knaben stundten wie eynn mawr, verachten die Sophisten.« Von da an hatten Sophist und das Adjektiv sophistisch im Deutschen meist einen negativen Klang, trotz Versuchen von Hegel und vor allem von Nietzsche, die antiken Sophisten zu rehabilitieren.
Sophistisch argumentieren in Streitgesprächen natürlich immer nur die anderen. Unter Politikern wird der Vorwurf, Gegenargumente seien sophistisch, oft erhoben. Im Nationalsozialismus und überhaupt im »völkischen« Denken wurde sophistisch auch genutzt, um vermeintlich typische parlamentarische, jüdische oder jesuitisch-katholische Haarspalterei zu bezeichnen. So ist es kein Zufall, dass der rechtsnationale Abgeordnete Heinrich Leuchtgens 1950 der Erste im Bundestag war, der das Wort gebrauchte. Er forderte Konrad Adenauer in einer Debatte über die Zukunft des Saargebiets auf: »Ich bitte also den Herrn Bundeskanzler: Lassen Sie sich bei der Gestaltung der deutschen Lebensfragen nichts abringen, schenken Sie sophistischen Gründen keine Beachtung!« Heute ist die Gebrauchshäufigkeit nicht nur im Bundestag zurückgegangen.