Najsłynniejszym meczem piłkarskim w historii igrzysk olimpijskich pozostaje ćwierćfinał z 1936 roku, który odbył się w Berlinie. Reprezentacja gospodarzy, czyli III Rzeszy, przegrała niespodziewanie z Norwegią 0:2. Był to jedyny mecz piłkarski, który na własne oczy obejrzał Adolf Hitler. Führer został zapewniony przez swych doradców, że zespół prowadzony przez zdeklarowanego nazistę Ottona Nerza rozgromi Norwegów, więc z propagandowego punktu widzenia dobrze będzie, jeśli pojawi się na widowni. Gdy w 83. minucie Magnar Isaksen zdobył swoją drugą bramkę i podwyższył na 2:0 dla Norwegii, wściekły Führer opuścił stadion i już nigdy na mecz piłkarski nie poszedł. Co więcej, on i jego otoczenie stwierdzili, że tak nieprzewidywalnego sportu jak piłka nożna nie da się wykorzystać propagandowo.
Powód, dla którego mecz z Hitlerem na trybunach pozostanie najsłynniejszym w dziejach olimpijskiego futbolu, jest niestety banalny – piłka nożna nigdy na igrzyskach nie była pełnoprawnym sportem. W pierwszych nowożytnych igrzyskach w Atenach w ogóle nie znalazła się w programie – owszem, rozegrano nieoficjalny turniej piłkarski, który wygrała Dania, ale jej rywalami były reprezentacje greckich miast. Największymi przeszkodami w rozkwicie futbolu na igrzyskach były zawodowstwo i monopol FIFA, która nie chciała (i wciąż nie chce) konkurencji dla mistrzostw świata.
Profesjonalizm wkroczył do futbolu w momencie, gdy ktoś pierwszy raz kopnął piłkę trochę lepiej niż przeciwnik, a olimpijska idea czystego sportu była szczytna, ale nigdy nie przystawała do piłkarskiej rzeczywistości. Anglicy profesjonalizm zalegalizowali już w 1885 roku. Inne kraje broniły się bardzo długo, ale tak naprawdę przez wiele lat przymykały oko na profesjonalizm wprowadzany kuchennymi drzwiami. Niemcy udawali ślepców aż do 1963 roku.
W igrzyskach 1924 i 1928 roku triumfował Urugwaj. W roku 1930 Urugwajczycy wygrali także pierwsze mistrzostwa świata – turniej z udziałem zawodowców. Urugwaj zdobył też tytuł podczas pierwszego powojennego mundialu w roku 1950, wówczas to było futbolowe mocarstwo.
Po wojnie igrzyska na długo zamknięto dla zawodowych piłkarzy i nie tylko piłkarzy. Dyskwalifikowano każdego, kto choćby spojrzał na zawodowca. FIFA budowała potęgę mundiali i dopiero w latach 70. najzdolniejszych młodych piłkarzy przemycano do zespołów olimpijskich tuż przed podpisaniem przez nich zawodowego kontraktu.