La diferencia no es muy grande. Verbo + かな implica un sentido más bien de intención, y al ponerle の es una duda más grande. Podría verse de esta forma:
帰るかな Me pregunto si debería regresar a casa (tengo de hecho la intención de hacerlo y lo haré, regresaré)
帰るのかな Me pregunto si debería regresar a casa. (tengo muchas dudas, no lo sé)