Isso não me parece que seja um problema do processador, de todo.
A maioria dos jogos nem são intensos em nível de processamento, portanto se está a sentir alguma lentidão apenas nessas situações, eu consideraria algo diferente - talvez mais associado com a gráfica ou até o próprio sistema operativo, aplicações no mesmo.
A RX580 é uma gráfica de 2017, e também já começa a apresentar a sua idade possivelmente - dependerá do jogo.
Dito isto, o Ryzen que possui não é propriamente "novo", portanto também já começa a apresentar alguma idade. No entanto, a motherboard que possui é relativamente boa.
Sendo sincero, eu começava por verificar o processador, porque me parece que é ai a causa de alguns problemas. Por exemplo, para algo como isto: https://www.kuantokusta.pt/p/7943715/amd-ryzen-5-5600-35ghz-am4-box-100-100000927box
Atenção que poderá ter de atualizar a BIOS da motherboard antes para usar estes processadores - e em geral, também será aconselhado de o fazer de qualquer forma.
Se quiser puxar o orçamento, algo deste género também é bom: https://www.kuantokusta.pt/p/7957866/amd-ryzen-7-5800x3d-8-core-34ghz-sktam4-100-100000651wof
Mais caro, mas terá um processador que vai durar bastante mais tempo, e adaptado para praticamente todas as tarefas que refere.
No entanto, se for pela via do 5600, pode depois usar o valor que poupa para uma gráfica ligeiramente melhor.
Como exemplo: https://www.kuantokusta.pt/p/210416/msi-geforce-gtx-1660-super-ventus-xs-6gb-oc-gddr6-pcie
No entanto, se fosse eu apenas optaria pela via do upgrade na gráfica se realmente necessário. a RX580 é algo antiga, mas ainda deve estar adaptada para a maioria dos títulos modernos - embora não em qualidade máxima para alguns, ainda deverá ser suficiente para a maioria.