私は結婚して退職し、現在は地元を離れて車で3時間のところに住んでる。一度断ったが、以前のバイト先の先輩がしつこく飲みに誘ってきて・・・

先輩からの旅行や飲み会などの断り方について、相談させてください。
その先輩というのは、以前のバイト先の先輩です。私は結婚して退職し、現在は地元を離れて車で3時間くらいのところに住んでます。
旦那とは、そのバイトで出会ったので、もちろんその先輩を知っています。
結婚してから1年、先輩はバイト仲間を引き連れて、引っ越し先に遊びに来てくれたり、こちらからも何回か地元に帰っています。
で、その先輩ともう1人と6月後半に飲みにいくんですが、その件も4月ごろ一回断ってるんです。このまま話がながれないかな～…と思っていました。
ちなみに、地元で飲みなので私が帰省しないといけないんです。旦那置いて。
でもほんとにしつこくて、いついく？どこにする？と諦めなくて、結局6月に決まってしまって‥
それも、私ともう1人が飲み会したそうだから仕方なく予定立ててるんだよって感じで。昔からそうなんです。
飲み会はもう行かないと収まりそうにないので、いくことにしました。
ここまで長くなってしまいましたが、悩んでいるのは旅行のこと。
旅行といっても多分日帰りですが、前に突然、ユニバいこ！と誘われたんです。
その時はなんとなく、涼しくなってからがいいな～とにごしました。
私はほんとに行きたくないし、行くなら旦那と行きたいし、先輩はケチなんでファストパスとか使わないと思います。私はファストパス使って並ばずに行きたい派。
なにより先輩なので気使って自由にまわれないし…
飲み会で、ユニバの話になったらなんて断ったらいいでしょう？
私はまだ仕事をしていないので、そういう理由は使えないし、お金がないのでという理由は、じゃあ働けやって話ですし…。
旦那と一緒なら行きます！と言っておいて、10月ごろまたお誘いが来た時に、旦那が仕事で…と断るのは失礼になりますかね？？