Był synem górnika z Ashington, gdzie przed wojną znajdowała się największa na świecie kopalnia węgla. Ojciec chciał, żeby starszy syn – Jackie – poszedł w jego ślady, ale kiedy chłopak zjechał pod ziemię, już następnego dnia tam nie wrócił. Powiedział, że woli zaciągnąć się do policji, niż być kretem w czarnej dziurze.
Nie zdążył. Był wyższy od kolegów, więc kiedy grał w piłkę, był najbardziej widoczny na boisku. Młodszy o dwa lata, niższy o sporo centymetrów, brat pętał się między nogami, ćwicząc umiejętności takiego panowania nad piłką, żeby ktoś go z tą piłką nie wykopał z boiska.
I, jak to w Anglii, ktoś zwrócił uwagę, że z tego Jackie’ego to może będzie prawdziwy piłkarz. Kiedy do domu Charltonów przyjechali wysłannicy Leeds United z propozycją dla Jackie’go, matka złapała się za głowę. „Chyba żeście powariowali. On nie umie grać w piłkę. Weźcie lepiej Bobby’ego”.
Cissie Charlton wiedziała, co mówi, bo była krewną słynnego napastnika Newcastle United i reprezentacji Jackie’ego Milburna, czyli wujka synów. Ale ci z Leeds wiedzieli swoje i w ten sposób starszy Charlton trafił do tego klubu. Żeby nie było złudzeń: pierwszych osiem lat spędził w drugiej drużynie lub na ławce pierwszej. „Przestrzegałam” – powiedziała matka.
Ale awans starszego brata bardzo pomógł młodszemu. Bobby był najlepszym zawodnikiem szkolnych drużyn East Northumberland Boys, a później Northumberland Juniors. I z tego poziomu, w roku 1954, trafił do szkolnej reprezentacji Anglii. Kiedy na Wembley wbił dwa gole Walijczykom, propozycje gry złożyło mu osiemnaście klubów, zachęcających na rozmaite sposoby. Wśród nich Arsenal, Wolverhampton i Manchester City.