Zbudowałem prywatny LLM na moim domowym komputerze, używając dysku USB — wie tylko to, co na niego włożyłem

Kiedy wprowadzasz wrażliwy kod lub badania do opartego na chmurze AI, tracisz kontrolę nad tym, dokąd trafiają te informacje. Może się wydawać, że jest to drobna cena za wygodę inteligentnego asystenta, ale w istocie przekazujesz swoje dane na serwery, których nie posiadasz. To ryzyko, które większość osób akceptuje bez namysłu. Jednak nie musisz wybierać między zaawansowanymi modelami językowymi a bezpieczeństwem własnych prywatnych plików; wystarczy przejść na lokalny model LLM.

Ryzyka prywatności związane z przetwarzaniem w chmurze

Twoje dane nigdy nie są tak bezpieczne, jak myślisz, gdy korzystasz z chmury

Kiedy wysyłasz osobiste pytania i fragmenty kodu do zewnętrznego serwera, wysyłasz swoje prywatne teksty, własność intelektualną i poufne informacje przez internet do komputerów należących do kogoś innego. Łatwo to zapomnieć, ponieważ wydaje się, że to twój własny komputer domowy.

Przetwarzanie twoich zadań w tych scentralizowanych systemach chmurowych stwarza poważne ryzyko dla prywatności i kontroli twoich danych. Zewnętrzne firmy przetwarzają twoje prywatne informacje na maszynach, którymi nie zarządzasz, co stanowi ogromną lukę w zabezpieczeniach.

Ponieważ twoje dane mogą być przekazywane partnerom zewnętrznym w ramach tych sieci, twoje informacje są bezpieczne tylko na tyle, na ile bezpieczne jest najsłabsze ogniwo w tym łańcuchu. Niektórzy główni dostawcy usług w chmurze przechowują twoje polecenia i wyniki nawet po wyłączeniu śledzenia historii. Dane te mogą być przechowywane przez około 72 godziny w celu odzyskiwania systemu, a na zewnętrznych serwerach mogą pozostać do trzech lat, jeśli zostaną oznaczone do przeglądu przez człowieka lub szkolenia.

Chociaż możesz próbować chronić swoją prywatność, rezygnując z treningu danych, dostawcy zwykle wymuszają kompromis poprzez wyłączenie kluczowych funkcji lub zakłócenie działania aplikacji. Oznacza to, że prawdziwa prywatność w chmurze zazwyczaj wymaga rezygnacji z tych funkcji, pozostawiając twoje dane narażone, chyba że zaakceptujesz niepełne działanie usług.

Następnie jest szkolenie, przez które AI musi przejść. Twoje polecenia i sposób użycia są idealne do trenowania AI. Ponieważ generatywna AI jest wbudowana w to, jak działa technologia, gdy twoje dane znajdą się w systemie, niemożliwe jest zagwarantowanie, że kiedykolwiek zostaną całkowicie usunięte.

Uruchamianie lokalnych modeli z użyciem zewnętrznej pamięci

Możesz nosić cały swój zestaw sztucznej inteligencji w kieszeni

Budowanie własnej prywatnej, offline AI zaczyna się od pobrania oprogramowania, które uruchamia otwarte modele językowe bezpośrednio na procesorze komputera. Lubię GPT4All, ponieważ ma niewiele wymagań i oferuje okno czatu na pulpicie, które działa bez połączenia z internetem. Korzystając ze skompresowanych plików modelu GGUF w celu oszczędzania miejsca i pamięci, można uruchamiać te modele na zwykłych procesorach komputerowych i kartach graficznych.

Ponieważ wszystko działa lokalnie na twoim własnym komputerze, twoje pytania i dane nigdy nie trafiają na serwer w chmurze, co zapewnia prywatność twoich danych. Możesz nawet całkowicie zablokować oprogramowanie przed używaniem twojej sieci, upewniając się, że nigdy nie próbuje łączyć się z internetem ani nie ujawnia danych.

GPT4All pozwala również na skonfigurowanie swojego modelu z zasadami i danymi treningowymi. Musisz mieć gotową przestrzeń do przechowywania. Lubię używać dysku USB o pojemności 1 TB.

Po prostu przejdź do swoich Czatów, a następnie zobaczysz przycisk LocalDocs po prawej stronie. Stamtąd możesz dodać wszystko, co chcesz, tylko upewnij się, że masz już folder z dokumentami. Czasami używam własnych dokumentów, ale trzymam też jeden na wspomnianym wcześniej pendrive, aby móc przeskakiwać między komputerami bez konieczności ich ponownego tworzenia.

Lubię uruchamiać to przeciwko najgorszym podpowiedziom, jakie mogę wymyślić. Chociaż na początku wydaje się to głupie, trenujesz je, aby powielało porażkę. Jeśli trenujesz je tylko na rzeczach, w których będzie dobre, tak naprawdę go nie naprawiasz. SI działają lepiej, gdy mają ograniczenia, a korekty, które będziesz musiał wprowadzać, możesz wykorzystać jako dokumenty budujące te ograniczenia.

Upewnij się, że będziesz to aktualizować z czasem; tak naprawdę go nie trenujesz. Ta część zajmuje trochę czasu, ale zaczniesz zauważać, jak dużo lepiej działa, gdy dodasz więcej dokumentów.

To zależy od mocy twojego komputera, ponieważ przetworzenie wszystkich dokumentów wymaga znacznie większej mocy obliczeniowej. Liczba dokumentów nie ma tak dużego znaczenia, jak ich rozmiar i zawartość. Lubię je rozdzielać, ponieważ ułatwia to znalezienie tych, które chcesz zmodyfikować lub usunąć, ale możesz też trzymać je wszystkie razem, jeśli jest to najprostsze.

Wciąż możesz używać swojego USB do innych rzeczy. Ja używam mojego do wielu innych rzeczy, ale ten jeden folder jest tylko dla AI. Polecam mieć zapasowy gigabajt, na wszelki wypadek, jeśli będziesz chciał stworzyć postać lub naprawdę skomplikowaną AI.

Bezpieczna i wydajna lokalna wydajność

Nie musisz poświęcać prędkości, aby zachować prywatność

Jednym z najbardziej utrwalonych mitów na temat sztucznej inteligencji jest to, że tracisz całą wydajność, jeśli odmówisz połączenia z zewnętrznym serwerem w chmurze. Już dawno minęły czasy, kiedy AI wymagała drogich konfiguracji. Pendrive jest stosunkowo tani i prawdopodobnie masz go gdzieś pod ręką.

Mój główny komputer jest starszy, a mimo to wciąż wpisuje rzeczy mniej więcej tak szybko, jak ja je czytam. Więc nie jest to czasochłonne ani długie, gdy już zacznie wpisywać. Powiedziałbym, że najdłużej trwa zebranie wszystkich informacji, zanim zacznie. Nawet wtedy nie jest to długa przerwa.

Upewnij się tylko, że wybrany przez Ciebie model to GGUF lub AWQ. Rozmiary plików tych modeli zostały zmniejszone aż o 75%, przy zachowaniu 95% do 99% dokładności i logiki oryginalnego modelu. Nawet przy całej swojej funkcjonalności w ogóle nie potrzebujesz internetu.

Trenuj własną sztuczną inteligencję

Przeniesienie swojego zestawu AI na lokalny dysk w komputerze domowym to duża zmiana. Wymaga to pewnej konfiguracji technicznej, aby zachować statyczne ścieżki plików, a także jesteś odpowiedzialny za utrzymanie własnego sprzętu i kopii zapasowych. Jeśli lubisz korzystać z ogromnej skali czołowych dostawców chmurowych do złożonych zadań, model lokalny może wydawać się zupełnie innym narzędziem. Jednak dla każdego, kto chce analizować zastrzeżony kod lub prywatne dokumenty bez umożliwiania korporacjom pozyskiwania swoich danych, jest to lepsza opcja.