家庭用のブロードバンド環境では、ルータ越しの接続でsshが勝手に切断されていることがよくあります。
MacのOpenSSHクライアントから、Ubuntuに接続していましたが、家からやると数分で勝手にタイムアウトして、困っていました。

~/.ssh/configファイルを作成し、以下を追加すると解決。
書式がman ssh_configとちょっと違う気がするけど、まあ切れなきゃいいのよ。

Host *
  ServerAliveInterval 120

簡単なんだけど、ネットで調べるといろいろ出てくるので、やっぱり、ちゃんとmanを読むのがよいかもしれません。