在30分鐘內創建你的深度學習伺服器

人工智能遇見磐創 發佈 2020-08-22T13:08:44+00:00

每當我開始一個新的項目時,我發現自己一次又一次地創建一個深度學習機器。而在這中間,你不可避免地會搞砸,從頭開始。

每當我開始一個新的項目時,我發現自己一次又一次地創建一個深度學習機器。

從安裝Anaconda開始,最後為Pytorch和Tensorflow創建不同的環境,這樣它們就不會相互干擾。而在這中間,你不可避免地會搞砸,從頭開始。這種情況經常發生多次。

這不僅是對時間的巨大浪費,它也是令人惱火的。通過所有的堆棧溢出線程,我們經常想知道究竟出了什麼問題。

那麼,有沒有一種方法可以更有效地做到這一點呢?

在這個博客中,我將嘗試在EC2上以最小的努力建立一個深度學習伺服器,這樣我就可以專注於更重要的事情。

本博客明確地由兩部分組成:

  • 設置一個預先安裝了深度學習庫的Amazon EC2機器。
  • 使用TMUX和SSH隧道設置Jupyter notebook。

別擔心,這不像聽起來那麼難。只需按照步驟操作,然後單擊「下一步」。

設置Amazon EC2計算機

我假設你擁有一個AWS帳戶,並且可以訪問AWS控制台。如果沒有,你可能需要註冊一個Amazon AWS帳戶。

  • AWS控制台:https://aws.amazon.com/console/
  • 首先,我們需要轉到「Services」選項卡以訪問EC2儀錶板。
  1. 在EC2儀錶板上,你可以從創建實例開始。
  1. 亞馬遜向社區AMI(亞馬遜機器映像)預裝了深度學習軟體。要訪問這些AMI,你需要查看社區AMI,並在「搜索」選項卡中搜索「 Ubuntu深度學習」。你可以選擇其他任何Linux風格,但是我發現Ubuntu對於滿足我的深度學習需求最為有用。在當前設置中,我將使用深度學習AMI(Ubuntu 18.04)27.0版
  1. 選擇AMI後,可以選擇「實例類型」。在這裡,你可以指定系統中所需的CPU,內存和GPU的數量。亞馬遜提供了許多根據個人需求選擇的選項。你可以使用「過濾依據」過濾器過濾GPU實例。 在本教程中,我使用了p2.xlarge實例,該實例為NVIDIA K80 GPU提供了2,496個並行處理內核和12GiB的GPU內存。要了解不同的實例類型,你可以查看下方連結中的文檔,並查看價格。 查看文檔:https://aws.amazon.com/ec2/instance-types/ 查看價格:https://aws.amazon.com/emr/pricing/
  1. 你可以在第4步中更改連接到機器的存儲。如果你不預先添加存儲,也可以,因為以後也可以這樣做。我將存儲空間從90 GB更改為500 GB,因為大多數深度學習需求都需要適當的存儲空間。
  1. 僅此而已,你可以在進入最終審閱實例設置螢幕之後啟動實例。單擊啟動後,你將看到此螢幕。只需在「Key pair name」中輸入任何密鑰名稱,然後單擊「Download Key Pair」即可。你的密鑰將按照你提供的名稱下載到計算機上。對我來說,它被保存為「aws_key.pem」。完成後,你可以單擊「Launch Instances」啟動實例。

請確保此密鑰對的安全,因為每當你要登錄實例時都需要這樣做。

  1. 現在,你可以單擊下一頁上的「View Instances」以查看你的實例。這是你的實例的樣子:
  1. 要連接到你的實例,只需在本地計算機上打開一個終端窗口,然後瀏覽到保存密鑰對文件並修改一些權限的文件夾。
chmod 400 aws_key.pem

完成此操作後,你將可以通過SSH連接到你的實例。SSH命令的格式為:

ssh -i「 aws_key.pem」 ubuntu @ <你的PublicDNS(IPv4)>

對我來說,命令是:

ssh -i「 aws_key.pem」 ubuntu@ec2-54-202-223-197.us-west-2.compute.amazonaws.com

另外,請記住,一旦關閉實例,公用DNS可能會更改。

  1. 你已經準備好機器並準備就緒。本機包含不同的環境,這些環境具有你可能需要的各種庫。這台特定的機器具有MXNet,Tensorflow和Pytorch,以及不同版本的python。最好的事情是,我們已經預先安裝了所有這些功能,因此開箱即用。

設置Jupyter Notebook

但是,仍然需要使用一些東西才能充分使用計算機。其中之一就是Jupyter Notebook。要在計算機上設置Jupyter Notebook,我建議使用TMUX和隧道。讓我們逐步設置Jupyter Notebook。

關鍵字: