想问一下关于香港工作签证（一般就业计划）

cinsyuUID：3864787

本人是是日本的大学学士毕业，大学期间曾交换到美国Western Michigan University学习一年，毕业后在东京工作过一年九个月。12月份达到了香港的offer，辞去了日本的工作，现在在国内。日本的签证到2022年。
在海外生活了七年多，英语日语工作都没有问题，就是完全不懂广东话。
在职证明，推荐信什么的在日本都开好了。
给 offer的公司是个日本企业，规模比较小，曾经办过日本人职员的签证。
本来我不太担心签证的问题，可是昨天公司的人跟我说，拜托了agent帮我申请，可是通过率只有一半。主要原因是工作经验太短，不足三年。一旦失败，可能会影响到以后，说要征求我本人同意。
公司也说，可能性小也会尽全力帮我申请。
我先问一下有经验的朋友，像我这种情况别拒签的可能性大吗？一旦被拒签，对以后申请香港工作签的影响大吗？
谢谢。

cinsyuUID：3864787

补充一下工作内容，上份工作是一个日本的旅行公司，主要做欧美顾客的访日旅游，新的工作也是日企，咨询类公司。