Über Umwege gelangte der Schwergewichts-Weltmeister von 1970 bis 1973 zum Boxsport. Eigentlich wollte Frazier Fitness-Sport betreiben, um Gewicht zu verlieren; dies war der erste Schritt in eine große Boxer-Karriere. International machte er auf sich aufmerksam, als er bei den Olympischen Spielen 1964 in Tokio als nachnominierter Athlet Gold im Schwergewicht gewann. Anschließend wechselte Frazier ins Profilager, wo er seine ersten elf Kämpfe durch K.o. gewann.