むしろ、仕事中にいきなりそんなこと言われて即オッケーする方が稀だろ。
とりあえず今日は諦めて、近いうちにもう一度、
『仕事終わってから少しお時間いただけないですか？』
とでも、紳士的に誘ってみてはどうかと思われ。