Das Baby wurde von einer Amme versorgt, damals üblich in Fürstenhäusern. Sie war eine Bauersfrau aus Miesbach, „dick und gesund“, so dass Ludwig prächtig gedieh. Er war sieben Monate alt, als die Amme unerwartet verstarb. Der Säugling musste plötzlich abgestillt werden. Seine Eltern waren gerade in Berlin, wo Ludwigs Großmutter im Sterben lag. Seine Mutter Marie wünschte, dass man ihr das Baby nach Berlin bringe, damit sie sich kümmern könnte. Doch der Kleine war so schwach und kränklich geworden, dass Leibarzt Gietl davon abriet. Als die Mutter im Juli 1846 – nach vier Monaten – endlich nach München zurückkehrte, hatte sich Ludwig soweit erholt, dass sie ihn an der Poststation in Garching in die Arme schließen konnte. Heute wissen wir, dass Ludwig damals eine minder schwere Gehirnhautentzündung überwand und wohl deshalb später häufig an Kopfschmerzen litt.

Auf die frühkindliche Krise verweisen manche Autoren, um damit Entwicklungen in Ludwigs späterem Leben zu erklären, etwa Beziehungsprobleme und Rückzugsverhalten. Historiker sehen solche Erklärungsansätze kritisch, da sich ein derartiger Zusammenhang nachträglich weder beweisen noch von anderen Ursachenfaktoren abgrenzen lässt.

Die gemeinsame Zeit der jungen Familie war knapp bemessen. Die Eltern hatten als bayerisches Kronprinzenpaar und ab 1848 als König und Königin von Bayern viele Verpflichtungen. Zu den obligatorischen Reisen durch das Königreich kamen die oft monatelangen Kuraufenthalte des Vaters.
Dennoch war das Privatleben der Familie abwechslungsreich: Während der Winterzeit in der Münchener Residenz gab es gemeinsame Theaterbesuche, Kirchgänge und Spaziergänge im Englischen Garten. Die wärmere Jahreszeit verbrachte man in Schloss Nymphenburg oder auf einem der ländlichen Familiensitze: Schloss Hohenschwangau, Schloss Berg am Starnberger See oder die königliche Villa bei Berchtesgaden. Hier unternahm die Familie viele Ausfahrten, Wanderungen und Reitausflüge. Vater Max nahm die Söhne mit zur Jagd, die Mutter ging mit ihnen Bergsteigen und Fischen – Eindrücke, die Ludwig nachhaltig prägten: Zeitlebens blieb er naturverbunden, liebte das Gebirge und hatte ein großes Bedürfnis nach Bewegung in frischer Luft.

Der 6jährige Ludwig liebte es, wenn man ihm Geschichten vorlas und Bilder dazu zeigte. Er kostümierte sich gern und spielte Theater. Dem 7jährigen schenkte der Großvater einen Satz Baustein-Hölzer, mit dem man das Siegestor nachbauen konnte. Im geschickten Umgang seines Enkels mit Bauklötzen glaubte der alte König eine „auffallende Ähnlichkeit“ zu seiner eigenen Bauleidenschaft zu erkennen. Vom Onkel Adalbert bekam der 13jährige Ludwig ein Ritter-Turnier-Spiel, das ihn begeisterte und das er „fast täglich“ mit Otto spielte. Weiter erfahren wir von Dampfschiffen, die man schwimmen lassen konnte, einem eigenen kleinen Garten zum „Botanisieren“ und von lebendigen Tieren: eine Schildkröte, zwei Eichhörnchen, die im Zimmer der Prinzen einen großen Käfig hatten, und ein eigenes, schwarzes Pony. Die Reitstunden bekam Ludwig bei Herzog Max in der Von-der-Tann-Straße.

Vom Spiel mit dem Kronprinzen berichtet Helene von Racowitz (1843 – 1911), Tochter des Diplomaten Wilhelm von Dönniges, wie sie einmal gemeinsam den schönen, großen Zinnsoldaten die Köpfe umdrehten. Als Helene daraufhin an Andersens Märchen vom Zinnsoldaten erinnerte, brach Ludwig in Tränen aus, „weil wir nun so viele solch herrlicher kleiner Zinnsoldaten getötet hätten!“ Da begann auch Helene zu weinen, bis ihr – als der zwei Jahre Älteren – einfiel, dass Zinnsoldaten doch nicht so lebendig sein könnten. Das sah auch Ludwig rasch ein und schon waren beide wieder fröhlich und ausgelassen.

Ludwig wurde angehalten, zu allen Untergebenen besonders artig zu sein, berichtet Helene. „Es war wieder in Hohenschwangau, – als wir beide aus einem Fenster schauten und das von allen Kindern so beliebte Spiel des Hinunterspuckens – wahrscheinlich von mir angeregt – trieben. Natürlich war Baronin Mailhaus in genügender Entfernung. – Da traf es sich, daß gerade meines Vaters alter Diener vorüberging; er bekam unsre Sendung direkt auf den Kopf – wir lachten uns halbtot. Der Alte hob den Blick; mit zorniger Stimme rief er: „Ja, wer treibt denn da jetzt solch’ne Schw…“, als er aber den Kronprinzen erkannte, schwieg er bestürzt. Unsre Freude jedoch dauerte nicht lange – das Verhängnis nahte – Baronin Mailhaus ergriff uns Sünder an den Röckchen und zwang uns zu gestehen – was wir halb zitternd, halb noch von unsrer Großtat erfreut, auch taten. Sie aber setzte eine gar strenge Miene auf, rief den alten Diener und gebot dem Kronprinzen, sich ganz demütig beim Diener zu entschuldigen. Natürlich mußte ich das gleiche tun. Der Alte war furchtbar gerührt und beschämt; – aber als er das Zimmer verließ und wir beide mit hochroten Gesichtern fortschlichen – sagte der Kronprinz leise zu mir: „Es war wirklich nicht schön von uns! Der Alte tut mir sehr leid – ich will ihm etwas schenken!“

Ludwigs Freundschaft mit Helene endete nach einigen Jahren – von beiden ungewollt – nach einem Streit über ein Bilderbuch. „Wer das Bilderbuch wollte – wer es hatte – ich weiß es nicht mehr, nur, daß wir beiden guten Kameraden plötzlich im wüstesten Handgemenge waren, daß ich auf den Kronprinzen einpuffte und er, als Sieger – eine Handvoll meines goldroten Haares ausgerissen in der kleinen Hand hielt.“ Erzieherin Sybille Meilhaus gelang es nicht, die beiden zu trennen, die „wie junge Katzen ineinander verbissen waren“. Plötzlich erschien Königin Marie: „Aber Kinder! seid ihr toll – wir könnt ihr nur!“ Helene und Ludwig brachen in Tränen aus, die Königin „sprach gütig auf uns ein“ und sorgte dafür, dass die Kinder sich entschuldigten und versöhnten. Doch während Ludwigs Eltern „den Streit als einen unter Kindern gleichgültigen bezeichneten“, war es Helenes Vater, der die Freundschaft „zwischen seiner Königlichen Hoheit und meiner Wildheit“ zukünftig unterband. „Mein Vater sprach, nachdem er mir scharf ins Gewissen geredet, das große Wort: „Seinen künftigen König prügelt man nicht! Du bist dieses auserlesenen Umgangs nicht wert!“ Helene durfte Ludwig nur noch zu seinen Geburtstagen besuchen. – Viel später ließ König Ludwig ihr einmal Bonbons überbringen mit den Worten: „Grüßen Sie mir meine einstige, wilde kleine Spielgefährtin.“

Im Gegensatz zu solchen Berichten, liest man immer wieder, Ludwig sei zum Hochmut gegenüber Untergebenen erzogen worden. Vieles spricht dagegen, dass dem so war. Gegebenenfalls hätte es nicht gefruchtet: Zeitzeugen, die König Ludwig persönlich nahestanden oder ihm begegnet sind – Freunde, Beamte, Diener, Wirtsleute, Förster, Waldarbeiter oder Bergbauern – haben einmütig hervorgehoben, dass der König im Umgang mit Mitmenschen stets gütig, leutselig, großzügig und mitfühlend war – die zweifelhaften Zeugenaussagen, die für das psychiatrische Gutachten gesammelt wurden, ausgenommen.