使用 Go Get 在Docker 使用 multi-stage builds 搬檔案遇到的問題

source: mundodocker

前情提要

Docker 從 17.05 版本以後就有這個貼心的設計， multi-stage build（多階段建構），這對於長期因為 build docker image 太大而困擾的我們真的是很方便，所以現在 multi-stage build 幾乎已經成為 build docker image 標準配備。

在不支持多階段建構的年代，通常會有兩種作法：

Docker on Mac Parallels 11

圖片來源：devops.com

話說上一次用Parallels 已經是兩年前(Parallels 9 )，那時候因為Parallels 會跟Virtualbox 打架，而且那個時後boot2docker 也沒有支援Paralles 的環境 ，所以只好放棄使用，不過技術演進非常快速，現在boot2docker 也被消滅了，取而代之的是docker-machine，而docker-machine 也支援Parallels 得環境了，趁著這次大降價趕緊買來試試看。

參考Parallels 放在github 上的 plugin - docker-machine-parallels教學 ，不過這邊要注意的是docker-machine 0.4.0 以前要使用另一個就專案 docker-machine + parallels driver，下面的教學是給最新版 0.5.1 + 使用的。

MaxOS 上Docker 管理工具 boo2docker and Kitematic

最近要為新專案建立開發與測試環境，就想說那就趁機來玩一玩Docker 吧！不然都只是紙上談兵。

我的開發機器是MBP是無法跑原生的Docker，好在Docker也有幫Mac 使用這準備了boot2docker 的套件，其實說穿了就是一個virtualbox 的vm (跑的是busybox 所以也是個非常lightweigth 的vm)，然後在vm 裡面跑docker，那boot2docker 有提供什麼好處？

初探Docker - Docker as Sandboxes

接續上一篇初探Docker - Docker 跟 LXC 以及一般Hypervisor有何差別？

前幾天聽到Hitcon團隊的演講，在講述系統如何被破解和入侵，比如說php的web如何透過sql injection和埋後門的方式被入侵，想想也是捏了一把冷汗.....

很多時候就算我們自己寫程式時會注意這些東西，但是當我們用別人現成的Open Source套件或是Lib時呢？我們不一定會(一定不會)把source code 都review一遍，就直接把東西裝來玩，就算我們很注重安全，但是整個系統可能就因為我們裝了這些軟體而門戶大開...

那些知名的軟體專案都可能會有漏洞了，更何況那些來路不明的軟體/系統呢？我們都知道亂裝來路不明的軟體本來就是大忌，但是手賤又想要玩玩看的話那該怎麼辦呢？像最近看到一個自定短網址的系統yourls，就很想裝起來玩玩看，但是又怕有問題...這時候我們就該使用sandbox～

初探Docker - Docker 跟 LXC 以及一般Hypervisor有何差別？

聽到Docker 這個玩意大概是2014年年初，但是一直到最近才真的有時間開始研究....

話說一開始聽到Docker 是利用LXC的原理來實作，腦袋瓜馬上浮現的架構圖就如下圖所示，是個Lightweight 且只能跑Linux的環境東西，能應用的範圍應該有限？但是我錯了~大錯特錯~:P

 圖片來源：LXC containers in Ubuntu Server 14.04 LTS

關於 LXC

先撇除一般Hypervisor 不談(大家應該都很熟悉了)，在了解Docker之前我們應該先來了解，什麼是 LXC (Linux Container)？我們現來看一下他的定義：

LXC (LinuX Containers) provide an isolated operating system environment with its own file system, network, process and block I/O space. A favorite way to describe containers is that they are like “chroot on steroids”, since they provide the file system isolation that chroot jails provide but they go beyond that by also providing an IP address, a separate process domain, user ids and dedicated access to the host’s physical resources (i.e. memory, CPU) which chroot jails do not provide

主要用意是提供比chroot更完整的 process 的isolation，但是範疇都還是寄生在同一個Host OS上面，所以他很輕量，也很快(因為不像Hypervisor 每開一個Guest OS都要跑完整的開機流程)，參考LXC containers in Ubuntu Server 14.04 LTS 這篇文章的比較如下：

	Virtualization (i.e. kvm, xen)	LXC Containers
Footprint	Requires a hypervisor and a full operating system image.	Does not require a hypervisor or a separate operating system image.
OS supported	Any OS supported by the hypervisor	Most Linux distros, uses same kernel as host
Typical server deployment	10 – 100 VMs	100 - 1000 containers
Boot time	Less than a minute	Seconds
Physical resources use (i.e. memory, CPU)	Each VM has resource reserved for its own use	Shared by all containers

更多關於LXC 的操作，可以參考以下文章：

• 阿舍的隨手筆記 - lxc 建立和設定虛擬機器 

Why Docker more than LXC

沒錯，一開始Docker也是架設在LXC之上，不過從Docker 0.9版以後，LXC 已經不再是Docker 唯一且預設的執行環境 (請參考：docker drops LXC as default execution environment)，Docker 現在支援更多種的"isolation tools"包含：

• DOpenVZ
• systemd-nspawn
• libvirt-lxc
• libvirt-sandbox
• qemu/kvm
• BSD Jails
• Solaris Zones
• chroot

不過這又是另外的故事了，我們還是回到最一開始的討論，到底Docker比LXC多提供了什麼？參考下面這張投影片：





Docker增加了AUFS以及Base image的概念：

AUFS 的概念可以參考 - Linux AuFS Examples: Another Union File System Tutorial ，以我的理解就是把Host的目錄當作Guest (Container)的Disk 來用。


但我覺得最有趣的就是base image的概念，透過base image，我們可以就可以在docker上執行各種的distribution Linux 而不受限於Host OS種類，Image的概念如下，其實就是一堆必要檔案的集合：

Docker images are essentially a collection of files which include everything needed to run that process. This is everything from the OS packages and up.
A docker image has a default process it runs when it is instantiated. This could be bash, to drop you into the terminal, or a web server so you can access it from the browser.

此外Docker 又有一種有趣的玩法，就是直接透過執行Docker run 這個指令，就可以在Host OS上對Container 內的OS下命令，光說沒有Fu，可以看一下以下的指令以及執行結果。

CoreOS (alpha)
core@core-01 ~ $ docker run centos:centos6 yum update
Loaded plugins: fastestmirror
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package ca-certificates.noarch 0:2013.1.95-65.1.el6_5 will be updated
---> Package ca-certificates.noarch 0:2014.1.98-65.0.el6_5 will be an update
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================
 Package              Arch        Version                    Repository    Size
================================================================================
Updating:
 ca-certificates      noarch      2014.1.98-65.0.el6_5       updates      1.1 M

Transaction Summary
================================================================================
Upgrade       1 Package(s)

Total download size: 1.1 M

各位看出來了嗎？這個結果很有趣，我的Host OS 是CoreOS (這又是另一個故事)，但是我可以透過 docker run centos:centos6 (指定image:指定instance)這個指令要求container執行CentOS專屬的指令 yum update，而且我從外部下的所有指令都可以被錄下來用來製作image，這樣我只要config好一個image就可以複製成很多份去deploy了！

當然我們也可以像傳統使用VM的方式，登入這個Container(模擬)，指令如下：

docker run -i -t centos:centos6 /bin/bash
bash-4.1#

這就跟傳統Vagrant ssh 的感覺很像。


玩到這邊慢慢的對於Docker 有些fu了~不過還是有許多的問題，且讓我邊玩邊整理筆記~:P

Security isolation and Docker

圖片來源：網路

根據Xen Community PH值還算沒有小於一的文章 The Docker exploit and the security of containers提到，Docker 的確是個不錯的工具，適合以下情境：

• Excellent tool for packaging and deploying applications
• Using containers to separate an application from the rest of the user-space of your distribution

也就是Docker 所要佈署的程式都，最好都是你trust 的program，並不適合類比成VM使用，因此在Hack new 上Docker 的作者也有跳出來說：

Please remember that at this time, we don't claim Docker out-of-the-box is suitable for containing untrusted programs with root privileges. So if you're thinking "pfew, good thing we upgraded to 1.0 or we were toast", you need to change your underlying configuration now. Add apparmor or selinux containment, map trust groups to separate machines, or ideally don't grant root access to the application.

Docker will soon support user namespaces, which is a great additional security layer but also not a silver bullet!

When we feel comfortable saying that Docker out-of-the-box can safely contain untrusted uid0 programs, we will say so clearly.

最後Xen Community 也有幾個建議：

However, using containers for security isolation is not a good idea. In a blog last August, one of Docker’s engineers expressed optimism that containers would eventually catch up to virtual machines from a security standpoint. But in a presentation given in January, the same engineer said that the only way to have real isolation with Docker was to either run one Docker per host, or one Docker per VM. (Or, as Solomon Hykes says here, to use Dockers that trust each other in the same host or the same VM.)

結論：

好的工具也是要用對地方，用對方法~:P

延伸閱讀：

[1] Docker Security
[2] Solomon Hykes Explains Docker