私の場合も仕事柄、英語は電話にでるときや、その他たまに話すぐらいなので、日本語だけでも不自由しないのです。
でも生活するほうが観光するより英語の重要度は高くなります。
携帯を買うにしろ住居を契約するにしろ車を買うにしろ、英語がある程度必要でした。
わたしはもともと独学で(独旅で？？)英語を身につけたのでなんちゃって英語です。英語３、ボディーランゲージ７ぐらいでしょうか。
ハワイに住んでいれば勝手に英語が身につくとは思ってません。
やはり勉強が大切です。
まあこの年になると差し迫るものがないとなかなか勉強する気にはなりませんが。。。
こちらではアダルトスクールというのがあり、その名の通り社会人向けに夜から始まるスクールがあります。その授業の中に英語のクラスがあるので次のクールから行きたいなと思っている最中です。
結論：どこにいても勉強すれば英語は上達する
(そりゃそうか(^^;)