Um erro comum é remover a Site Collection de um PWA sem fazer isso pelo gerenciador de aplicações. Normalmente quem incorre neste erro tem vários problemas depois, o PWA não abre mais e algumas vezes não é possivel criar novos PWAs.
Causa
Ao deletar a Site Collection diretamente foi removido o ponteiro na Web Application, porem para o serviço de dados do Project Server ainda consta um PWA com o banco de dados intacto.
Sintoma
Ao tentar agora deletar corretamente pelo “Manage Service Applications” ocorre o erro:
“Service application cannot be deleted due to existing project sites”

Solução
Entre no SharePoint 2010 Management Shell e execute a seguinte sequencia de comandos:
Get-SPServiceApplication
$ID_App = Get-SPServiceApplication | ? {$_.Displayname -like "Nome da Aplicação"}
$Colecoes = $ID_App.SiteCollection
$Colecoes
$ID_App.SiteCollection.Remove("22ffa7a9-17f1-4801-b648-cc7e1dbe2183")
O primeiro comando lista todas as aplicações encontradas e entre elas as do PWA. É possivel criar um filtro para o like, similar ao segundo comando. Ou se você já conhece o nome da aplicações coloque diretamente na segunda linha.
O segundo comando captura o ID da aplicações e o terceiro utiliza este ID para trazer a lista de Site Collections vinculadas ao PWA.
O quarto comando lista o resultado da variavel $Colecoes para que você posso ler o ID da Site Collection que é inserido no ultimo dos comandos.
Após isso, rode novamente os comandos 3 e 4 até que não retornem mais nenhum Site Collection, apesar de que o PWA costuma ser um unico SC.
Veja abaixo os prints completos, de cada estágio:




E não se esqueça que não será deletado os bancos de dados no SQL Server, o que deve ser feito manualmente antes de se criar uma nova aplicação para o servidor de PWA.