I'd rather not.

I'd rather not 〜 は、「どちらかというとしたくない」という意味です。

Would you like to go dancing tonight?

(今夜踊りにいきませんか?)

Umm...I'd rather not.

(うーん、あまり行きたくないな)

行きたくない!というより曖昧な表現ですね。