Przestałem korzystać z LM Studio, gdy znalazłem tę alternatywę open-source

LM Studio od czasu, gdy je odkryłem, jest moją ulubioną aplikacją do uruchamiania lokalnych modeli LLM. Jest łatwe w obsłudze, interfejs użytkownika jest dobrze dopracowany, a każdy model AI można uruchomić w zaledwie kilka kliknięć — nawet jeśli nigdy w życiu nie korzystałeś z terminala. To jedno z najlepszych narzędzi, jeśli chcesz cieszyć się zaletami lokalnego LLM.

Ale chociaż LM Studio jest darmowe w użyciu, nie jest oprogramowaniem open-source. Niektóre jego komponenty, zwłaszcza narzędzia wiersza poleceń, posiadają otwarte licencje, ale sama aplikacja jest oprogramowaniem własnościowym. Dla narzędzia, które może łatwo stać się rdzeniem twoich lokalnych przepływów pracy z AI, ryzykowanie zmiany licencji kiedykolwiek, gdy tylko firmy macierzyste zechcą, było ryzykiem, z którym nie czułem się komfortowo, a wtedy znalazłem Jana.

Myślałem, że będę tęsknić za LM Studio. Nie tęskniłem

Dlaczego Jan czuje się jak prawdziwa zastępcza wersja LM Studio

Alternatywą, która ostatecznie zastąpiła dla mnie LM Studio, jest Jan. To aplikacja desktopowa, która pozwala na uruchamianie LLM w pełni offline — podobnie jak LM Studio, ale nie tylko jest całkowicie darmowa, ale także open-source, a cały kod źródłowy jest dostępny na GitHubie. Nie ma żadnych niespodzianek związanych z licencją, żadnych zamknięć na własnościowe rozwiązania ani drobnego druku, o który trzeba się martwić.

Interfejs jest bardzo podobny do ChatGPT, co może być dobrą lub złą rzeczą w zależności od twojego gustu. Jeśli jednak jesteś nowy w koncepcji lokalnych LLM, jest on znajomy, przejrzysty i przyjazny. Jan został stworzony, aby udostępnić lokalną sztuczną inteligencję każdemu, więc projekt interfejsu na wzór ChatGPT nie jest przypadkowy. Otrzymujesz okno czatu, centrum modeli oraz stronę ustawień, która nie wymaga wiedzy na poziomie dewelopera, aby ją zrozumieć.

Jeśli przechodzisz z LM Studio, biblioteka modeli również będzie wyglądać znajomo. Możesz przeglądać i pobierać popularne modele open-source, takie jak Llama, Gemma, Mistral, Qwen, DeepSeek i inne, bezpośrednio z aplikacji. Modele są również oznaczone, aby pokazać, czy będą działać dobrze na twoim sprzęcie, czy też mogą okazać się nieco zbyt wymagające.

Jan jest również dostarczany z serwerem API zgodnym z OpenAI. Oznacza to, że możesz skierować do lokalnego serwera Jana inne narzędzia, takie jak Cursor, Open WebUI, własne skrypty i cokolwiek innego, co możesz budować, i działać będzie tak, jakby komunikowało się z API OpenAI. Jest to świetne do testowania kodu i prototypów, zanim zaczniesz korzystać z rzeczywistego (i płatnego) API OpenAI. Serwer domyślnie obsługuje również CORS (Cross-Origin Resource Sharing), co znacznie ułatwia podłączenie go do projektów internetowych.

Wydajność, choć uzależniona od używanego modelu, jest również podobna do LM Studio. Zużycie tokenów nie różni się znacząco od LM Studio, a sam silnik wnioskowania jest zasadniczo taki sam. Otrzymujesz także wbudowane rozszerzenia, jeśli chcesz rozszerzyć funkcjonalność aplikacji.

Korzyści związane z prywatnością są naprawdę znaczące

Modele lokalne, bez chmury, bez niespodzianek

Uruchamianie AI lokalnie jest już wyborem świadomym pod względem prywatności; jednak korzystanie z Jan pozwala pójść o krok dalej. Wszystko, od twoich preferencji, historii czatu, parametrów modelu, po sam model, pozostaje na twoim urządzeniu. Nie trzeba tworzyć konta, nie trzeba martwić się o dane telemetryczne i nie jest wymagana żadna zależność od chmury. Możesz mieć w pełni odizolowane doświadczenie użytkownika AI, jeśli tego chcesz.

Dwie wady tego podejścia to po pierwsze, ograniczenie się do modeli AI, które Twój sprzęt może uruchomić, a po drugie, otwarte modele LLM, które można pobrać i uruchomić, nie zawsze są tak dobre jak ich odpowiedniki online. Są zadania, do których powinieneś używać lokalnego LLM, ale nie potrafi on wszystkiego.

Jan pozwala ci to naprawić, obsługując zdalne API takie jak OpenAI, Anthropic, Claude i inne, jeśli chcesz uzyskać dostęp do chmury do ich odpowiednich modeli. Takie podejście nie wymaga od ciebie wyboru między nimi. Domyślnie jest lokalne (i prywatne), ale zawsze masz opcję wyboru modeli opartych na chmurze, gdy zadanie tego wymaga.

To nie jest bezbłędne

Szorstkie krawędzie, które szybko zauważysz

Jeśli przechodzisz z LM Studio, będzie Ci brakować szczegółowości, jaką oferuje, zwłaszcza w konfiguracji warstw GPU, która w LM Studio jest znacznie bardziej wizualna i dostępna. Dodatkowo funkcje takie jak analiza dokumentów są bardziej rozwinięte. Jan nadrabia zaległości, ale jeśli chcesz mieć kontrolę nad dostrajaniem każdego parametru wnioskowania, LM Studio jest lepszym wyborem.

Jeśli wolisz pracować w terminalu, Ollama przewyższa zarówno LM Studio, jak i Jan. W związku z tym czasy uruchamiania obu wizualnych programów LLM są porównywalne, ale wolniejsze niż w przypadku Ollama. Jan znajduje się gdzieś w środku konkurencji — jest bardziej przejrzysty niż LM Studio i znacznie bardziej przyjazny dla użytkownika niż Ollama.

To cicho stało się moim domyślnym

Dlaczego całkowicie przestałem otwierać LM Studio

Nie ma wielu przeszkód, abyś przeszedł na Jan z LM Studio. Krzywa uczenia się jest prawie płaska, a większość twoich modeli i danych przejdzie bez problemu. Różnica polega na posiadaniu twojego lokalnego stosu AI. Z Jan masz pełną kontrolę i żadna nieoczekiwana zmiana kierunku ani zmiana licencji nie zaskoczy cię.

W codziennym, praktycznym użyciu Jan robi wszystko, co robi LM studio, z tą różnicą, że masz spokój ducha, wynikający z oprogramowania, które możesz faktycznie przeaudytować. Nadal masz pełną kontrolę i wszystkie potrzebne korzyści, tylko bez żadnych potencjalnych problemów.