Eie GPU-er eller leie i skyen?

Skal man eie GPU-ene selv, eller leie kapasitet i skyen?

Coretech er et norsk investeringsselskap som investerer i teknologiselskaper med høye krav til skalerbarhet og teknologivalg. Med økende interesse for kunstig intelligens ønsket de å forstå om investering i egen AI-infrastruktur kunne skape reell verdi, for selskapet selv og for porteføljeselskapene. Append fikk oppdraget med å vurdere investeringen.

Coretech vurderte en high-performance AI-plattform basert på Dell PowerEdge XE7745 med fire NVIDIA H200-GPU-er, en betydelig investering. Utfordringen var todelt: hvilke AI-arbeidslaster forsvarer faktisk dedikert maskinvare, og hvordan påvirker den raske teknologiutviklingen risikoen ved å binde kapital i hardware som kan være utdatert om få år?

Gjennom en workshop med Coretech gikk vi gjennom mulighetene: hvilke arbeidslaster som egner seg for lokal kjøring, når on-prem gir mening sammenlignet med sky, og hvilke verktøy som finnes for lokal kjøring av språkmodeller, som vLLM, TensorRT, Ollama og LM Studio.

Vurderingene ble samlet i en rapport med et helhetlig rammeverk for investeringsbeslutningen, som kombinerer økonomiske scenarier, tekniske vurderinger og strategiske implikasjoner.

Anbefalingen ble et mer nøkternt spor enn den opprinnelige planen: start med en Mac M3 Ultra for lokal utprøving, og lys ut sommerstillinger for studenter for å bygge kompetansen internt, i stedet for å gå rett på en stor serverinvestering.