Kubernetes Operator (feat. Operator SDK)

이번 글에서는 사용자 정의 리소스를 사용하여 어플리케이션 및 해당 컴포넌트를 관리하는 Operator 패턴에 대해서 알아보고, 공식 문서에 따라 간단한 Custom Operator를 만들어보도록 하겠습니다.

Operator란?

Operator가 무엇인지 알아보기 이전에 Controller라는 개념에 대해 먼저 살펴보겠습니다.

Controller

Kubernetes Patterns 책을 참고하면 Kubernetes에서 리소스의 Status를 감시하며 원하는 상태(Spec)로 만드는 것은 Controller라고 합니다.

하지만, 기본적으로 제공되는 Controller의 기능 이외에도 더 복잡한 어플리케이션 관리 로직이 필요한 경우가 분명 존재합니다. 이런 상황을 커버하기 위해 등장한 것이 Operator입니다.

Operator

Kubernetes Patterns 책에서 정확한 정의를 살펴보면 Operator는 CRD(Custom Resource Definitions)와 상호 작용하는 정교한 Reconcil 과정을 나타내며, 이를 통해 운영자는 복잡한 어플리케이션 도메인 로직을 캡슐화하여 관리할 수 있게 됩니다.

Develop Custom Operator

그렇다면 Operator를 어떻게 개발할까요?

Operator를 개발하기 위한 도구로는 KUDO, kubebuilder, Operator Framework가 존재합니다. Operator 개발 도구를 사용하게 되면 Custom Resource나 Controller를 개발하는데 필요한 Boiler Plate를 제공해주기 때문에 개발자는 핵심 로직 개발에 집중할 수 있습니다.

최근 Operator Framework가 많이 사용되고 있기 때문에 이번 글에서는 Operator Framework를 사용해 Operator를 생성해보겠습니다.

Operator Framework는 Operator 개발 플로우를 제공하는 Operator SDK와 Operator의 라이프 사이클을 관리하는 Operator OLM으로 구성됩니다.

Operator SDK

Operator SDK 문서를 살펴보면 Golang, Ansible, Helm을 사용하여 Operator 개발 플로우를 제공합니다. 이번 글에서는 Golang을 사용하여 진행하겠습니다.

Golang Operator를 통해 개발한 Controller는 다음과 같은 주요 패키지를 가지게 됩니다.

• Runtime Controller Package
  Controller가 관리할 CR의 변경을 감지하고 SDK Controller Package의 Reconcile Loop가 동작하도록 합니다.

• Runtime Manager Package
  Kubernetes Client 및 Cache를 초기화합니다.

• SDK Controller Package
  실제 Controller 로직을 수행하는 Reconcile Loop와 Runtime Manager Package로 부터 전달받은 Kubernetes Client가 포함되어 있습니다.

참고 문서 : https://ssup2.github.io/programming/Kubernetes_Operator_SDK_Golang/

Operator SDK Tutorial

Operator SDK Tutorial에 있는 Memcached Operator를 만들어보자. 먼저 working directory를 생성한 후, 초기화 작업을 진행합니다.

▶ operator-sdk init --repo=github.com/seongpyoHong/memcached-operator
▶ ls
Dockerfile Makefile   PROJECT    bin        config     go.mod     go.sum     hack       main.go

operator를 위한 main program은 main.go로 Manager의 초기화 및 실행을 담당합니다.

[main.go]

mgr, err := ctrl.NewManager(ctrl.GetConfigOrDie(), ctrl.Options{
        Scheme:             scheme,
        MetricsBindAddress: metricsAddr,
        Port:               9443,
        LeaderElection:     enableLeaderElection,
        LeaderElectionID:   "9dd21db1.my.domain",
        //Namespace: namespace
    })

만약 Controller가 관찰할 리소스의 Namespace를 제한하기 위해 Options에 Namespace 관련 설정을 추가할 수 있습니다.

다음으로 Memcached Operator를 통해 관리할 Memcached CRD와 Controller를 생성합니다.

▶ operator-sdk create api --group=cache --version=v1alpha1 --kind=Memcached
Create Resource [y/n]
y
Create Controller [y/n]
y
...
...

 

Memcached CRD

위의 명령어를 통해 생성한 CRD가 가져야 하는 정보는 api/v1alpha1 아래에 memcached-types.go에 추가할 수 있습니다. Spec의 Size는 동작해야하는 Memcached Pod의 개수를 나타내고, Status의 Nodes는 동작하는 Memcached Pod의 이름을 나타냅니다.

package v1alpha1

import (
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

// EDIT THIS FILE!  THIS IS SCAFFOLDING FOR YOU TO OWN!
// NOTE: json tags are required.  Any new fields you add must have json tags for the fields to be serialized.

// MemcachedSpec defines the desired state of Memcached
type MemcachedSpec struct {
    Size int32 `json:"size"`
}

// MemcachedStatus defines the observed state of Memcached
type MemcachedStatus struct {
    Nodes []string `json:"nodes"`
}

// +kubebuilder:object:root=true
// +kubebuilder:subresource:status

// Memcached is the Schema for the memcacheds API
type Memcached struct {
    metav1.TypeMeta   `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec   MemcachedSpec   `json:"spec,omitempty"`
    Status MemcachedStatus `json:"status,omitempty"`
}

// +kubebuilder:object:root=true

// MemcachedList contains a list of Memcached
type MemcachedList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items           []Memcached `json:"items"`
}

func init() {
    SchemeBuilder.Register(&Memcached{}, &MemcachedList{})
}

 

CRD 정보를 추가한 후 업데이트를 위해 다음 커맨드를 실행하고, Manifest를 생성합니다. 아래 커맨드를 실행하게 되면 config/crd 아래에 CRD가 생성됩니다.

> make generate
> make manifest

 

Memcached Controller

controllers/memcached-controller.go에 controller boilerplate가 생성됩니다. Memcached CR을 위해 Controller가 실행해야할 핵심 로직은 다음과 같습니다.

1. Memcached Deployment 생성
2. Deployment Replica가 Spec의 Size와 동일하도록 보장
3. Memcached CR의 status 업데이트

 

이제 controller.go에 존재하는 함수를 하나씩 살펴보겠습니다. 먼저 SetupWithManager함수는 Controller가 관리하는 CR 및 기타 리소스를 감시하기 위해 어떻게 컨트롤러가 구축되는지를 지정합니다.

func (r *MemcachedReconciler) SetupWithManager(mgr ctrl.Manager) error {
    return ctrl.NewControllerManagedBy(mgr).
        For(&cachev1alpha1.Memcached{}).
        Owns(&appsv1.Deployment{}).
        WithOptions(controller.Options{
            MaxConcurrentReconciles: 2,
        }).Complete(r)
}

위의 코드에서 대한 자세한 설명은 다음과 같습니다.

• NewControllerManagedBy() 는 다양한 컨트롤러 설정을 할 수 있는 controller builder를 제공합니다.

• For(&cachev1alpha1.Memcached{})은 컨트롤러가 관찰하기 위한 우선적인 리소스를 Memcached 타입으로 특정합니다. Memcached 타입의 Add/Update/Delete 이벤트에 대해 Reconcil 루프가 해당 Memcached 개체에 대한 Reconcil 요청을 전송합니다.

• Owns(&appsv1.Deployment{}) 컨트롤러가 관찰하기 위한 추가 리소스로 Deployments를 지정합니다. 위 코드는 Memcached Object가 생성한 Deployment를 관찰하는 것을 의미합니다

• WithOptions 를 통해 Controller에 적용할 다양한 옵션을 추가할 수 있습니다. 위의 코드는 Reconcil을 동시에 최대 2개 수행한다는 것을 의미합니다.

 

다음으로 Reconcile(req ctrl.Request) 를 살펴보겠습니다. 이 함수는 Request를 받았을 때, 어떤 동작을 수행할지 정의하는 부분입니다. 자세한 코드는 https://github.com/operator-framework/operator-sdk/blob/master/example/memcached-operator/memcached_controller.go.tmpl 에 존재하며, 간단하게 설명하면 위에서 설명한 Controller가 실행할 핵심로직을 수행하게 됩니다.

Build

이제 Operator를 빌드합니다. 빌드 이후 crd를 확인해보면 정상적으로 생성된 것을 확인할 수 있습니다.

> make install
go: creating new go.mod: module tmp
go: found sigs.k8s.io/controller-tools/cmd/controller-gen in sigs.k8s.io/controller-tools v0.3.0
/Users/seongpyo/workspace/go/bin/controller-gen "crd:trivialVersions=true" rbac:roleName=manager-role webhook paths="./..." output:crd:artifacts:config=config/crd/bases
go: creating new go.mod: module tmp
/Users/seongpyo/workspace/go/bin/kustomize build config/crd | kubectl apply -f -
customresourcedefinition.apiextensions.k8s.io/memcacheds.cache.my.domain created

> kubectl get crd
NAME                                        CREATED AT
managedcertificates.networking.gke.io       2020-10-02T05:32:57Z

Run

Operator를 실행하는 방법은 2가지가 존재합니다.

1. Local에서 Go Program으로 실행
2. Cluster에 Deployment로 배포

이번에는 Local에서 실행시키는 방법을 사용하여 진행해보겠습니다.

▶ make run ENABLE_WEBHOOKS=false
go: creating new go.mod: module tmp
go: found sigs.k8s.io/controller-tools/cmd/controller-gen in sigs.k8s.io/controller-tools v0.3.0
/Users/seongpyo/workspace/go/bin/controller-gen object:headerFile="hack/boilerplate.go.txt" paths="./..."
go fmt ./...
go vet ./...
/Users/seongpyo/workspace/go/bin/controller-gen "crd:trivialVersions=true" rbac:roleName=manager-role webhook paths="./..." output:crd:artifacts:config=config/crd/bases
go run ./main.go
2020-10-02T15:07:51.303+0900    INFO    controller-runtime.metrics    metrics server is starting to listen    {"addr": ":8080"}
2020-10-02T15:07:51.304+0900    INFO    setup    starting manager
2020-10-02T15:07:51.304+0900    INFO    controller-runtime.manager    starting metrics server    {"path": "/metrics"}
2020-10-02T15:07:51.304+0900    INFO    controller    Starting EventSource    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "source": "kind source: /, Kind="}
2020-10-02T15:07:51.406+0900    INFO    controller    Starting EventSource    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "source": "kind source: /, Kind="}
2020-10-02T15:07:51.508+0900    INFO    controller    Starting Controller    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached"}
2020-10-02T15:07:51.508+0900    INFO    controller    Starting workers    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "worker count": 1}

Operator가 정상적으로 실행되었으면 다음으로 Operator가 관찰할 CR을 생성합니다.

▶ kubectl apply -f cache_v1alpha1_memcached.yaml
memcached.cache.my.domain/memcached-sample created

CR을 생성하면 Operator를 실행했던 쉘에서 이를 감지하는 로그가 발생합니다.

2020-10-02T15:09:07.588+0900    INFO    controllers.Memcached    Creating a new Deployment    {"memcached": "default/memcached-sample", "Deployment.Namespace": "default", "Deployment.Name": "memcached-sample"}
2020-10-02T15:09:08.243+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:08.256+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:08.256+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:14.221+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:14.254+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:14.263+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:14.263+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}
2020-10-02T15:09:15.818+0900    DEBUG    controller    Successfully Reconciled    {"reconcilerGroup": "cache.my.domain", "reconcilerKind": "Memcached", "controller": "memcached", "name": "memcached-sample", "namespace": "default"}

다음 글에서는 Operator SDK를 이용해서 Elasticsearch Operator를 개발해보는 것을 진행하도록 하겠습니다.

문제가 있거나 잘못된 내용이 있다면 언제든지 피드백 부탁드립니다!

참고 자료

• https://m.blog.naver.com/alice_k106/221586279079
• https://ssup2.github.io/programming/Kubernetes_Operator_SDK_Golang/
• https://www.redhat.com/en/engage/kubernetes-containers-architecture-s-201910240918?dynamic404=en
• https://olm.operatorframework.io/
• https://sdk.operatorframework.io/