Esse é um assunto muito vasto e com muita frequência tende a sofrer atualizações e/ou alterações, porque todos os dias criam-se novas técnicas que podem ser empregadas para chegar a este objetivo.
Aqui pretendo fazer um registro de opções e ferramentas que podem auxiliar nessa tarefa, relacionando ferramentas e métodos.
Por esse motivo entendo que este é um post que poderá ser atualizado ao longo de sua existência.
Bom primeiramente vou listar as ferramentas que auxiliam a identificar as melhorias que podem ser empregadas no seu site, são ferramentas que identificam online mesmo parâmetros que classificam seu site por exemplo como lento ou rápido dentre outras classificações.
As ferramentas:
https://www.thinkwithgoogle.com/intl/pt-br/feature/testmysite/
https://developers.google.com/speed/pagespeed/insights/
https://gtmetrix.com/features.html
http://websiteoptimization.com/services/analyze/