Дома есть файлопомойка и торрент-качалка на UBUNTU.
Доступ к удаленному подключению открыт во внешнюю сеть (интернет).
Есть подозрение, что кто-то несанкционировано подключался к компу.
Есть ли в системе какие-нибудь логи где можно данный факт поглядеть?

в софте того сервиса, куда подключались, очевидно. если был успешный вход по telnet/ssh - то last покажет, когда и под каким аккаунтом заходили, так же можно посмотреть в /var/log/auth.log (ssh тоже туда пишет). если на веб-интерфейс качалки заходили - то, соответственно, надо смотреть логи веб-интерфейса.

Нужел лог Remote desktop (VNC)

От чьего имени запущен демон в хоме того и лежат логи вида .x11vnc.log.$USR$:$PORT
либо запускать с консоли
x11vnc -dontdisconnect -forever -bg -o /var/log/x11vnc.log -rfbauth ...