現実世界にいたけど何かのせいで異世界へと飛ばされたという設定となっています。
異世界にいた人間でも可能です。