40 lat temu Paweł Skrzecz stoczył swoją najważniejszą walkę w karierze. Podczas turnieju olimpijskiego w Moskwie na początku sierpnia 1980 roku w finale kategorii półciężkiej przegrał na punkty 1:4 z reprezentantem Jugosławii Slobodanem Kačarem. Był, jak dotychczas, ostatnim Polakiem, który boksował w finale igrzysk olimpijskich.
– 37 sekund przed końcem tego pojedynku byłem mistrzem olimpijskim. Jednak rywal trafił mnie dość mocno i byłem liczony. Później szybko doskoczył po raz drugi, ale uderzenie nie było już tak silne, a mimo to arbiter ringowy zdecydował się na kolejne liczenie i przez to przegrałem. Dwaj sędziowie punktowi wytypowali remis ze wskazaniem na Slobodana, kolejny dał wygraną rywalowi jednym punktem, a arbiter z Kuby aż pięcioma punktami. Być może troszkę z zemsty, bo w półfinale pokonałem jego rodaka Ricardo Rojasa – powiedział w rozmowie z Radiem Kielce były pięściarz Gwardii Warszawa.
Paweł Skrzecz poza wicemistrzostwem olimpijskim zdobył również srebrny medal mistrzostw świata w Monachium w 1982 roku i krążek z tego samego kruszcu podczas mistrzostw Europy w Warnie w 1983 roku oraz brąz cztery lata wcześniej w Kolonii. W sumie w swojej karierze stoczył 278 walk, z których wygrał 239.
63-letni były pięściarz wspólnie z synem Sebastianem prowadzi obecnie treningi bokserskie w Akademii Walki na warszawskiej Pradze.