Automaty na lokalnym LLM - eksperyment czy rzeczywistość?

[Olga_Marketing]

Ostatnio dużo rozmów o uruchamianiu modeli na swoim sprzęcie zamiast chmury. Zaciekawił mnie temat, bo czasem API kosztuje. Ktoś z Was ma self-hosted'a w praktyce? Jak to wygląda z stabilnością i wydajnością? Myślę o testach z Ollama na starszym sprzęcie, ale niezbyt wiem czy to ma sens.