Łatwiej było mu zrezygnować z biznesu niż z żeglowania. Po 80. urodzinach postanowił trochę odpocząć. Ale u niego odpoczywanie nie oznacza leżenia na plaży i sączenia drinków. Ciągle żegluje i mówi, że wycofa się dopiero wtedy, gdy jego ciało go do tego przekona. Żartuje, że większość jego znajomych siedzi już w domach starców, a on dopiero co skończył regaty Sydney-Hobart na drugiej pozycji, przegrywając tylko z jachtem „Wild Oats XI".
I wcale nie mówi, że już więcej w tych zawodach nie wystartuje. Jeśli tylko zdrowie pozwoli, to może znowu weźmie w nich udział, bo – jak sam zdradza – pływa, żeby mieć co robić. A jego marzeniem jest wygranie wreszcie tych regat i dopłynięcie na pierwszym miejscu do Tasmanii. – Oczywiście, że mam marzenia. Chcę być pierwszy – powtarza.
Na starcie w Sydney stawał już ponad 40 razy i tylko raz minął linię mety pierwszy (w 1992 roku), choć jest jednym z najlepszych australijskich żeglarzy, zwycięzcą Admiral's Cup z 1979 roku. Pięciokrotnie brał udział w regatach o Puchar Ameryki. Tyle samo razy walczył tam tylko sir Thomas Lipton – ten od herbaty. Nic dziwnego, że do tych regat Fischer ma zadrę i się teraz zawziął.
I pomyśleć, że żeglarstwem na serio zajął się po trzydziestce, a pierwszy raz w Sydney-Hobart wystartował w 1963 roku (sam jest z rocznika 1927). Opowiada, że spodobało mu się, że żeglarze żyli według własnych reguł. Może nie byli najlepiej wychowanymi ludźmi na świecie, może byli specyficzni i Wersalu na pokładzie nikt nie oglądał, ale na pewno mieli mnóstwo zabawy i byli twardzi. To mu się spodobało, bo zawsze szukał wyzwań. Gdyby było inaczej, nie zająłby się deweloperstwem, na którym zbił fortunę.
Czasy się zmieniają, a jemu ciągle sprawia to ogromną frajdę. Gdy po raz pierwszy startował w regatach Sydney-Hobart, płynął na jachcie Malohi, 11-metrowym, prawie trzykrotnie mniejszym niż „Ragamuffin Loyal", na którym płynął w ostatnich regatach (12 spośród jego poprzednich jachtów nazywało się Ragamuffin).