Me parece que estas multiplicando la densidad por el volumen pero no puedes porque no es constante, tienes que hacer la integral (la resuelvo en esféricas):
\(M=\int \rho dV =4\pi k \int \frac{1}{r^2} r^2 dr = 4\pi k R\)
Espero que te sirva un saludin