[MachineLearning] 원격 작업을 위한 환경 구축

 

 

 

• 공유기 포트 포워딩
• SSH Reverse Tunneling
• 크롬 원격 데스크탑: ubuntu에서 불안하다는 말이 있어서 선택하지 않음. 

https://gigglehd.com/gg/soft/7534270

 

1) jupyter 사용하기

그냥 jupyter에 암호와 tls 걸고 openssh-server fail2ban 설정한 후 포트 바꿔놓고 필요할 때만 ssh로 jupyter 실행하신 후 브라우저로 돌리시는 식으로 사용하시면 됩니다.

다른 분 말씀대로 클라우드쪽을 한번 찔러보시는 것도 좋고요. colab은 사용시간 제한이 있는 게 단점인데 비용이 공짜라서 좋죠.

뚫리는 건 크게 다음과 같은 원인 중 하나지요. 업데이트를 충실히 하지 않았거나, 비밀번호가 너무 쉬웠거나, 비밀번호 무한 대입을 막지 않았거나, 비밀번호를 다른 원인으로 털렸거나, 원격접속시 signature 확인을 소홀히 했거나, 아니면 원격접속에 사용한 컴퓨터가 이미 털린 상태거나. 그런 부분을 확실히 하면 적어도 허접한 해커한테 털릴 일은 없습니다.

 

 https://teddylee777.github.io/linux/docker를-활용하여-딥러닝-환경구성.md

Docker를 활용하여 딥러닝/머신러닝 환경을 10분만에 구성하고 jupyter notebook 원격 연결하기

 

https://velog.io/@ljs/Docker-로-딥러닝-서버에-Jupyter-원격개발환경-구축하기

Docker 로 딥러닝 서버에 Jupyter 원격개발환경 구축하기

둘다 좋은데 jupyter notebook이라는 단점...

 

2) vpn?

 

혼자 연구용으로 사용하시는거면... NAT에서 인바운드를 아예 틀어막고(공유기 달아놓고 그냥 아무 포트도 열지 않으시면 됩니다) vpn통해 접속해서 사용하시면 들어가는 노력 대비 가장 안전합니다.

https://www.clien.net/service/board/cm_mac/14746891

 

3) 아마도 우분투 기반으로 사용하실 것이라 생각합니다. 특별한 이유가 없다면 그냥 ssh만 열고 나머지는 다 틀어 막으세요. ssh 포트번호 변경, ufw (방화벽), fail2ban (로그인 일정 횟수 실패시 ip차단) 은 기본입니다.
몇 시간에서 며칠에 걸쳐 본격적으로 학습을 돌릴거면 ssh 세션을 끊어도 돌아갈 수 있도록 tmux 로 가상 TTY를 열어서 사용하시던지, docker 를 쓰는게 좋습니다. Jupyter 가 인터랙티브 하게 바로 결과를 확인할 때에는 편리합니다만, 며칠씩 걸리는 작업을 Jupyter에서 돌리는건 음... 좀 아닌 것 같네요.
파이썬을 기준으로 PyCharm Pro같은 IDE에서 원격 실행과 원격 디버깅을 지원합니다. 다만 tmux 나 docker 와는 호환이 안 되는게 좀 아쉽죠. vs code 에서도 원격 실행이 추가되었다고 들었는데 아직 써 보지는 못했어요.

 

 

오래 돌리고 싶으신 경우 nohup걸고 돌리는 방법도 있습니다. Jupyter는 코드가 잘 돌아가나 디버깅할 때 쓰고, 본격적인 트레이닝은 py 뽑아서 돌리면 됩죠.

 

4) Docker + VSCode Remote Explorer

 

https://eungbean.github.io/2019/11/04/remote-vscode/

VS Code를 웹 상에 띄워놓고 어디서든 코딩하기

 

도커를 이용한 방법, 웹만 있으면 어디서든지 가능

docker를 쓰는것도 좋아요. vscode 지원하는 docker image 받으셔서 윈도우에서 돌리고, 맥에서 브라우저로 접속해서 코딩하는거죠.

 

나는 저 위 글에서 eungbean님이 만드신 docker image를 docker hub에서 받았다. 왠지 모르게 저 블로그에 있는 이미지는 권한 문제가 있다면서 run이 되지 않았다.

 

https://hub.docker.com/r/eungbean/deepo/dockerfile 이걸 썼다. 

 

 

다음에 이미지에 추가하고 싶은 내용- 이미지 설치 영역이 /var/lib/docker가 아니게? 권한 문제가 자꾸 생김. (or chmod를 처음부터 해주게..!)- sudo apt-get install python3-pip- pip install torch

 

+) 가장 중요한 cuda, cudnn이 없었다...!!!!!!!!!!

docker pull nablascom/cuda-pytorch

https://hub.docker.com/r/nablascom/cuda-pytorch

 

https://89douner.tistory.com/123

6-3. VS code에 Docker 연동하기! (with Jupyter notebook)

여기에 도커 이미지와 vscode를 연결하는 방법이 나와있다!

 

 

윈도우는 안되는듯?? 좀 더 찾아봐야....

or 우분투 설치하기

Parsec - 

 

5) vscode설정.

https://mmozzi.tistory.com/79

VSCode에서 SSH 원격 접속하는 방법

 

https://mclearninglab.tistory.com/171

딥러닝 서버에 ssh로 연결해서 VSCode로 코드를 짜보자!