您可以表示拒绝别人只会说英语的方式有很多种。

例如，您可以说：

"我不会英语。"
"我不能说英语。"
"我不喜欢说英语。"

这些表达方式均表示您不想或不能使用英语进行交流。

下面是一些用英文表达这个意思的例句，以及它们的中文翻译：

"I don't speak Engpsh." (我不会说英语。)
"I can't speak Engpsh." (我不能说英语。)
"I don't pke speaking Engpsh." (我不喜欢说英语。)

希望这些信息对您有帮助。