Jedná se o skupinu mohutných balvanů z rumburské žuly. Ještě koncem 19. století byly Pohanské kameny považovány za lidský výtvor, ale ve skutečnosti se jedná o výtvor přírodní. Je pravděpodobné, že v minulosti sloužily Pohanské kameny jako kultovní místo.

Ve skále je vsazena mramorová pamětní deska vztahující se k návštěvě prof. Virchowa, který zde v roce 1895 zkoumal tzv. skalní hrnce, prohlubně vzniklé působením povětrnostních vlivů.