Create personal AI Agent - 4

Ollama setup on Windows

Ollama က Windows, Linux, macOS အကုန်လုံးနဲ့ အလုပ်လုပ်ပါတယ်။ Install လုပ်ပြီး LLM Models တွေဆွဲချပြီး စမ်းဖို့ အရမ်းလွယ်ပါတယ်။ AI Agent Engineer တစ်ယောက် လုပ်မယ့်သူအနေနဲ့ ကိုယ့်ရဲ့ Laptop/Desktop နဲ့ အဆင်ပြေမယ့်ဟာကို စမ်းနိုင်ပါတယ်။

ဒီဆောင်းပါးမှာတော့ Docker Container နဲ့ WSL2 Ubuntu 24.04 LTS ပေါ်မှာ Setup လုပ်သွားမှာပါ။ ဘာလို့လဲ ဆိုတော့ Laptop က Alienware Laptop၊ Windows OS တင်ထားပြီး Docker Engine ကို WSL2 မှာ Run ထားလို့ပါ။ Developer တစ်ယောက်အနေနဲ့ Platform Independent ဖြစ်ဖို့ Containerization ကို သဘောကျလို့ပါ။ Containers Management အတွက်တော့ Portainer Community Edition ကို သုံးထားပါတယ်။

ဒါက Setup လုပ်မယ့် Ubuntu 24.04 LTS, Docker Version နဲ့ Portainer container ပါ။

Alienware Laptop က NVIDIA GPU GeForce RTX 3080 16 Gb တင်ထားတာမို့ WSL Ubuntu Docker ပေါ်ကနေလည်း သုံးလို့ ရအောင် NVIDIA Container Toolkit ကိုလည်း Install လုပ်ထားပါတယ်။ ဒါတွေက တစ်ဦးနဲ့ တစ်ဦး၊ စက်တစ်လုံးနဲ့ တစ်လုံး မတူတာမို့ အသေးစိတ်ကို ဒီဆောင်းပါမှာ မထည့်တော့ပါဘူး။

Portainer

Portainer Dashboard ကနေ new Stack ယူပြီး Ollama Container ကို Run မယ့် YAML ကို ထည့်ပြီး Deploy လုပ်ပါတယ်။

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped

    ports:
      - "11434:11434"

    volumes:
      - /data/ollama:/root/.ollama

    networks:
      - wsl2net

    gpu: all

networks:
  wsl2net:
    external: true

Ollama container ကို Deploy လုပ်တာအောင်မြင်သွားရင်တော့ ollama api version ကို browser ကနေ လှမ်းစမ်းလို့ ရပါတယ်။

Ollama အဆင်သင့်ဖြစ်ရင် နောက်တစ်ဆင့်က LLM Model ပါ။ Laptop ထဲမှာ ပေါ့ပေါ့ ပါးပါးဖြစ်အောင် Google ရဲ့ နောက်ဆုံးထွက် Gemma4:e4b နဲ့ စမ်းကြည့်ပါမယ်။ Google Gemma4:e4b က Edge Device တွေအတွက် Effective ဖြစ်အောင် လုပ်ထားတဲ့ SLM ပါ။

Portainer ထဲက Ollama container console မှာ

ollama pull gemma4:e4b 

ဆိုပြီး run ပေးရင် Ollama က Gemma4:e4b model ကို download ဆွဲပေးသွားမှာပါ။

ပြီးရင်တော့

ollama run gemma4:e4b

ဆိုပြီး Ollama api ကို စပြီး စမ်းကြည့်လို့ ရပါပြီ။

နောက်တဆင့်ကတော့ Open WebUI နဲ့ integrate လုပ်ဖို့ပါ။

Open WebUI

Portainer မှာ new stack ယူပြီး အောက်က YAML ကို deploy လုပ်ယုံပါပဲ။

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped

    ports:
      - "3000:8080"

    volumes:
      - /data/open-webui:/app/backend/data

    extra_hosts:
      - "host.docker.internal:host-gateway"

    networks:
      - wsl2net

networks:
  wsl2net:
    external: true

Deployment success ဖြစ်သွားရင်တော့ Open WebUI ကို Browser မှာ http://localhost:3000 ကနေ ခေါ်ကြည့်လို့ ရပါပြီ။

Admin user account ကို create လုပ်ပြီးရင် Admin panel > Settings > Connections ထဲမှာ Ollama API ကို http://ollama:1433 ဆိုပြီး Ollama နဲ့ ချိတ်ပေးရပါမယ်။ Container တွေဟာ wsl2net ဆိုတဲ့ same network group ထဲမှာ ရှိနေတဲ့ အတွက် Open WebUI container ဟာ ollama ဆိုတာနဲ့ ollama container ကို သွားရှာနိုင်ပါတယ်။

ခုဆိုရင် Gemma4 ကို Open Web UI နဲ့ local မှာတင် စမ်းကြည့်လို့ ရပါပြီ။

ဒါဆိုရင် Gemma4 ကို AI Chatbot WebUI အတွက် HTML5 Template ရေးခိုင်းကြည့်တာပါ။

နောက်ဆောင်းပါးမှာ Microsoft C# နဲ့ Local Ollama Model ကို ချိတ်ပြီး ကိုယ်တိုင် Agent လေး စမ်းရေးကြည့်ရအောင်။

လေးစားစွာဖြင့်
ဇင်မင်း