Najlepszy lokalny model AI dla Home Assistant nie zawsze jest tym największym

Używanie dużego modelu językowego (LLM) z Home Assistant ma wiele zalet. Może dodać rozumienie języka naturalnego, zasilić asystenta głosowego, a nawet analizować obrazy. Lokalny LLM może pomóc w utrzymaniu prywatności, ale nie zawsze trzeba używać największego modelu.

Używanie lokalnego LLM z Home Assistant

Chroń swoje dane

Istnieje wiele sposobów, w jakie LLM może uczynić Home Assistant bardziej funkcjonalnym. Jednym z popularnych zastosowań jest podłączenie modelu opartego na chmurze od firmy takiej jak OpenAI i użycie go jako asystenta rozmowy dla asystenta głosowego Assist. Pozwala to używać poleceń w naturalnym języku do sterowania inteligentnym domem, zamiast pamiętać konkretne frazy, które włączą lub wyłączą światła.

Problem z korzystaniem z opartego na chmurze LLM polega na tym, że dane o twoim inteligentnym domu muszą być wysłane do chmury w celu przetworzenia. Oznacza to, że informacje o twoim inteligentnym domu trafiają na serwery osób trzecich. Home Assistant został zaprojektowany, aby pomagać w utrzymaniu prywatności, więc udostępnianie informacji o twoim inteligentnym domu firmom zajmującym się AI jest sprzeczne z tą podstawową zasadą.

Jednym z rozwiązań jest użycie lokalnego LLM. Możesz uruchamiać modele na własnym sprzęcie, które mogą wykonywać część tych samych zadań, co LLM-y oparte na chmurze. Szybkość i dokładność, z jaką lokalny LLM może wykonywać te zadania, zależy zarówno od sprzętu, na którym go uruchamiasz, jak i od używanych modeli.

Dlaczego największy model nie zawsze jest najlepszy

Znajdowanie złotego środka

Modele językowe LLM często występują w różnych rozmiarach. Możesz zobaczyć wersje tego samego modelu o wartościach takich jak 4B, 9B, 70B. Odnoszą się one do liczby parametrów, które posiada model; na przykład model 70B ma 70 miliardów parametrów. Te większe modele często mają większą zdolność do posiadania wiedzy i rozumowania.

Z drugiej strony im więcej parametrów ma model, tym więcej VRAM jest potrzebne do przechowywania tych parametrów. Niektóre modele 70B, na przykład, mogą wymagać ponad 100 GB VRAM do uruchomienia. To jest poza zasięgiem nawet wysokiej klasy kart graficznych dla konsumentów, chyba że używasz konfiguracji wielokartowej, a jeśli nie masz wystarczającej ilości VRAM, model w ogóle nie uruchomi się lub będzie działał bardzo wolno.

Wyzwanie polega na znalezieniu modelu, który jest wystarczająco mały, aby działać na Twoim sprzęcie, ale wystarczająco potężny, aby poradzić sobie z zadaniami, które chcesz, aby wykonywał. Istnieją przydatne narzędzia, takie jak llmfit, które mogą powiedzieć, które modele najlepiej nadają się do pracy na Twoim sprzęcie.

Dobrą wiadomością jest to, że w miarę rozwoju technologii pojawiły się nowe mniejsze modele, które mogą przewyższać bardzo duże modele sprzed zaledwie kilku lat. Nie trzeba już mieć ogromnej ilości pamięci VRAM, aby uzyskać przyzwoitą wydajność lokalnego modelu LLM.

Małe lokalne LLM-y mogą działać na podstawowym sprzęcie

Nie potrzebujesz drogiej karty graficznej

Jeśli nie masz dedykowanej karty graficznej, to nie koniec świata. Istnieją mniejsze modele, które potrafią działać wyłącznie na procesorze, bez potrzeby przekazywania czegokolwiek do karty graficznej. Modele te mogą korzystać z pamięci RAM systemu w twoim komputerze, zamiast dopasowywać wszystko do pamięci VRAM. Chociaż wydajność nie może dorównać większym modelom działającym z GPU, nadal mogą wykonać swoją pracę.

Chciałem użyć lokalnego modelu LLM na moim Beelink Mini PC, który ma 16 GB RAM i brak dedykowanej karty graficznej. Moim głównym celem było wzięcie listy wydarzeń z mojego kalendarza i przekształcenie jej w tekst do porannego briefingu mówionego. Widziałem, że wiele osób mówiło, że model Qwen 3.5 4B jest dobrym kompromisem, więc postanowiłem go wypróbować.

Używając tego modelu, udało mi się wygenerować briefing, chociaż zajęło to około 13 sekund. Tekst był w porządku, ale nie był szczególnie inspirujący.

W celu przyspieszenia procesu spróbowałem mniejszego modelu, Llama 3.2 3B, który używa mniej parametrów. Można by się spodziewać, że ten model da gorszy wynik, ale wygenerował on znacznie bardziej naturalnie brzmiący tekst i zrobił to w mniej niż 6 sekund, czyli w czasie krótszym niż połowa czasu innego modelu.

Wygląda na to, że rozmiar nie jest wszystkim. Największy model, jaki możesz uruchomić, nie zawsze jest najlepszym wyborem; użycie mniejszego modelu może być szybsze, a nawet może dać lepsze wyniki.

Mały lokalny LLM nie nadaje się do wszystkiego

Będzie miał trudności jako agent konwersacji

Spontanicznie spróbowałem sprawdzić, czy mógłbym użyć któregokolwiek z tych modeli jako agentów konwersacyjnych dla Assist. Pozwoliłoby mi to używać poleceń głosowych w języku naturalnym z Assist, zamiast musieć używać konkretnych fraz.

Jak można się było spodziewać, oba modele całkowicie zawiodły w tej kwestii. Na moim sprzęcie było zbyt dużo kontekstu, aby te mniejsze modele mogły go szybko przetworzyć, a włączenie świateł zajmowało więcej niż 20 sekund, co było po prostu niepraktyczne.

Jeśli uruchamiasz lokalny LLM bez wydajnego sprzętu, nie będzie on odpowiedni do każdej pracy, ponieważ będzie albo zbyt wolny, albo niezdolny do wykonania tego, czego chcesz. Do niektórych zadań, takich jak generowanie moich porannych briefingów, lokalny LLM jest jednak idealnym sposobem na uzyskanie pożądanych wyników przy zachowaniu prywatności.

Spróbuj lokalnego LLM

Jeśli odkładałeś wypróbowanie lokalnego LLM, ponieważ nie sądziłeś, że twój sprzęt sobie z tym poradzi, warto zobaczyć, co może zrobić mały lokalny model. Dopóki nie wygram na loterii i nie będę mógł sobie pozwolić na potężny sprzęt AI, te małe modele w zupełności wystarczą.