Boas
é muito variável essa questão, porque depende essencialmente do que tenha no site e dos recursos que cada um desses aspetos necessite... Scripts ou códigos complexos podem necessitar de mais recursos do que outros. E conforme o site venha também a receber mais tráfego, mais exigente vai ficar.
Por exemplo, a simples instalação do WordPress, em casos onde o site tenha elevado número de visitas, pode ser consideravelmente "pesado" para um serviço de alojamento partilhado. Na maioria dos casos, isso não acontece, mas se começa a juntar também outro código ou plugins, vai elevar ainda mais essas exigências.
Existem plugins que, devido à sua natureza, funcionam cada vez que o site recebe uma visita, e portanto terá de ter isso em conta. Não existe um número "mágico", pode ser 1000 ou pode ser 100.000.
Comece por analisar o que tem e os recursos que possui.
Veja como o servidor se está a aguentar em nível de uso do processador, RAM, disco, etc. Possivelmente o mais exigente nem é o site em si, mas a base de dados MySQL - sobretudo se estiver num disco mecânico e não SSD.
Depois disso, deve ainda otimizar o melhor cada um dos serviços - apache, MySQL, etc. Não é apenas instalar e "está feito", tem de otimizar constantemente cada definição dos mesmos para ver onde obtêm o melhor desempenho possível.
Se mesmo com todas as otimizações ainda verifica um desempenho abaixo do esperado ou uso elevado de recursos, então possivelmente ai sim está na altura de alterar algo. Veja o que está a consumir mais recursos e comece por ai.
Se o uso for mais das bases de dados, pondere um sistema com discos SSD ou NVMe, e com boa memória RAM. Se for mais PHP ou similares, então o CPU será mais importante.