Eu concordo com Perla. A melhor coisa é ficar em Valizas e fazer essa caminhada de manhazinha pra Polonio. Economiza o transporte e a caminhada em si, por mais quente e arenosa que seja, passa por visuais muito bonitos, especialmente se na parte final vc for subindo e descendo as dunas!
Mas enfim, se vc quiser se hospedar em Polonio, tem sim alguns hostels, o mais famosinho lá é o Cabo Polonio Hostel
http://cabopoloniohostel.com/08/home.html, que apesar de mais famoso, nao é o mais barato. Os preços mudam quase que mensamente, acompanhando o fluxo de turistas.
A Pousada mais famosa é a La Perla, que apesar de custar 80 dolares o quarto, nao dispoe de bons serviços (em se tratando de equipe), mas tem boas instalações.
Sobre Punta del Diablo, o melhorzão mesmo é o El Diablo, bem badaladinho, mas que costuma estar bem cheio. Realiza passeios, tem boas informações turisticas e tem bar próprio que costuma ser bem movimentado... e por
bem entenda MUITO BEM frequentado.

pelo menos na alta temporada
aqui o site, pra consultas:
http://eldiablotranquilo.com/lang/pt