Pochodzi z dobrej rodziny. Ojciec wyemigrował do Brazylii z Belgii. Dorobił się na legalnym handlu bronią, dzięki czemu stał się posiadaczem ogromnych połaci ziemi i nieruchomości. Zadbał o wykształcenie syna, który w roku 1940 uzyskał dyplom w wyższej szkole prawa w Rio de Janeiro. Był już wówczas reprezentantem Brazylii w pływaniu na igrzyskach olimpijskich w Berlinie. Drugi raz pojechał na igrzyska 16 lat później, do Helsinek, jako członek brazylijskiej drużyny waterpolo.
Jako prawnik zdobywał doświadczenie w przedsiębiorstwie autobusowym oraz przemyśle chemicznym. Początkiem działalności w sporcie było wejście do Brazylijskiego Komitetu Olimpijskiego. Na piłkarskie mistrzostwa świata do Szwecji w roku 1958 Havelange pojechał już jako przewodniczący Brazylijskiej Konfederacji Sportu (CBD). Brazylia z Pele i Garrinchą zdobyła pierwszy tytuł mistrzowski, co dla Havelage'a stało się początkiem jeszcze większej, już międzynarodowej kariery. Pięć lat później został członkiem Międzynarodowego Komitetu Olimpijskiego. W roku 1974 wybrano go na prezydenta FIFA. Pokonał wtedy w wyborach dotychczasowego szefa, Anglika Stanleya Rousa. Kiedy Havelange przejmował stery FIFA organizacja liczyła 108 członków (dziś jest ich 209). Bryzylijczyk odwiedził każdy z nich, spotykał się z głowami państw i premierami, był pierwszym szefem FIFA przyjętym przez papieża. Za jego kadencji liczba członków znacznie wzrosła a każdy z nich to jeden głos oddawany na prezydenta, mającego opinię dobrego wujka.
Ale za jego programem rozwoju futbolu, rozbudowania rozgrywek i nawiązywania współpracy z bogatymi sponsorami (Adidas był i jest dostawcą piłek na mundiale, Coca-Cola sponsorowała mistrzostwa świata seniorów i do lat 20 a JVC do lat 17) gołym okiem widać było pole nadużyć. Od kontraktów reklamowych po prawa telewizyjne i pospolity handel biletami na mundiale. Havelange nie wahał się wchodzić w układy z brazylijską mafią i argentyńską juntą. Kiedy swojego zięcia Ricardo Teixeirę mianował prezesem krajowej federacji, która robiła interesy z Nike, korupcji nie dało się już ukryć. Rozlała się na cały świat, tworząc struktury mafijne. FIFA - mafia. Takie skojarzenie funkcjonuje w świecie od co najmniej ćwierćwiecza, a Joao Havelange jest ojcem chrzestnym tych zjawisk.
W roku 1998 przekazał rządy swojemu najzdolniejszemu i znacznie bystrzejszemu niż on uczniowi - Seppowi Blatterowi („demokratycznie" kupili wyborców z Afryki), który doprowadził FIFA do wizerunkowej kompromitacji. Havelange ustąpił z funkcji w MKOl, zrezygnował z tytułu honorowego prezydenta FIFA. Jego imię odebrano stadionom i rozgrywkom w Brazylii. Kiedy w tym kraju w roku 2014 odbywały się mistrzostwa świata, niegdysiejszego bohatera narodowego nie zaproszono.