Antes de mais deixa-me dizer-te que não deve ser muito rentável e estável manter um site num servidor caseiro, a menos que seja para testes.
Primeiro tens que decidir que sistema operativo e servidor web pretendes instalar. É muito fácil configurares o XAMPP (Apache Mysql Php e Perl) numa máquina Windows, no entanto se fosse no meu caso utilizaria uma distribuição Linux (CentOS) e instalaria um software de servidor Apache, nginx ou lighttpd.