Poprosiłem Claude'a, ChatGPT i Gemini o stworzenie symulacji, i jeden zwycięzca był oczywisty

Modele językowe dużej skali rozwijają się w zatrważającym tempie i w zależności od twojego stanowiska, może to być apokaliptyczne albo fantastyczne. Agenci AI są obecnie na topie, ale każdy agent ostatecznie jest ograniczony przez model, który go napędza. Więc niezależnie od tego, jakie ustawienia używasz, oczywiście ma znaczenie, którego modelu ostatecznie użyjesz.

Słyszałem dużo o Claude, jak pewnie ty też. Zawsze wydaje się, że Claude jest tym LLM, do którego się zwracają ludzie, którzy naprawdę chcą coś zrobić — poza przekształcaniem zdjęć w kreskówki czy wyżywaniem się na chatbotach. Ale zapisałem się do ChatGPT, gdy został uruchomiony i nigdy nie miałem odwagi odejść. Na dodatek mam subskrypcję Google One, która obejmuje Gemini. Płacenie za trzeci LLM wydawało się... ekstrawaganckie.

Ale oto jesteśmy. Wokół Claude zrobiło się tyle szumu, że postanowiłem w końcu go wypróbować. A czy jest lepszy sposób, aby je zestawić ze sobą, niż symulator układu słonecznego?

Zbudujmy badacza Układu Słonecznego

Testuje znacznie więcej niż tylko wynik kodu

Bawiłem się wieloma pomysłami na odpowiedni test dla LLM. Ponieważ są to duże modele językowe, najlepszym sposobem ich przetestowania jest użycie języka, a nie ma języka bardziej szczegółowo udokumentowanego niż język programowania. Oczywiście, najpierw rozważałem zwykłe podejrzane opcje: stworzenie strony internetowej, klona Flappy Birda, może symulator ruchu drogowego. Ale chciałem czegoś z większą fizyką, większą liczbą zasad i najlepiej czegoś, co nie zostało już wykonane na śmierć. Zdecydowałem się na pełnoprawnego eksploratora układu słonecznego.

Symulacja układu słonecznego w 3D zmusiłaby model językowy LLM do radzenia sobie jednocześnie z fizyką, grafiką, logiką symulacji, UX i architekturą. Projekt byłby oparty na sieci web, zamknięty w jednym pliku, a ja nie zamierzałem określać stosu technologicznego. Kusiło mnie, żeby narzucić Babylon.js zamiast Three.js, tylko po to, by uczynić sprawę ciekawszą, ale wybór stosu jest częścią wyzwania. Dodałem też jedną zasadę: brak ponownych prób, brak poprawek, brak łatek. Pierwszy wynik byłby wynikiem ostatecznym.

Poniżej znajduje się prompt, którego użyłem dla wszystkich trzech. Starałem się, aby był jak najbardziej zgodny z klimatem („vibe-code-y”) i unikałem podawania jakichkolwiek sztywnych ograniczeń technicznych. Prompt skupia się niemal w całości na formie i funkcji. Uruchomiłem też wszystkie trzy w ich głównych interfejsach web chat, a nie w aplikacjach desktopowych ani narzędziach specyficznych dla kodowania.

Stwórz przeglądarkowego eksploratora Układu Słonecznego, który działa lokalnie w przeglądarce internetowej i daje poczucie prawdziwej interaktywnej symulacji, a nie zabawkowego demo. Powinien dokładnie odwzorowywać strukturę i ruch Układu Słonecznego, ze wiarygodnymi rozmiarami planet, ruchem orbitalnym, oświetleniem, rotacją i skalą przestrzenną, zachowując przy tym użyteczność i wizualną przejrzystość. Doświadczenie powinno wyglądać realistycznie, dopracowanie i estetycznie, z płynną nawigacją, intuicyjnym przybliżaniem i ruchem kamery, oraz prezentacją, która sprawia, że przestrzeń wydaje się ogromna i szczegółowa. Ostateczny rezultat musi być w pełni funkcjonalny, wizualnie imponujący, naukowo uzasadniony i bezpośrednio uruchamialny w przeglądarce bez potrzeby korzystania z backendu ani zewnętrznych usług.

Gemini był szybki i wyglądał prawie imponująco

Blask zniknął w momencie, gdy podszedłem bliżej

Gemini 3 Thinking skończył pierwszy, i pod względem szybkości nie było nawet blisko. Był też jedynym modelem, który nie miał rozwagi, aby wyświetlić wynik w interfejsie w stylu Canvas, ale to drobna uwaga. Wziąłem kod i go uruchomiłem.

Gemini wybrało Three.js, i z daleka wyglądało to dobrze. Planety krążyły wokół słońca, oświetlenie wyglądało realistycznie, a cienie były rzeczywiste. Na jednym ze zrzutów ekranu widać, jak planety przesłaniają się nawzajem, co jest miłym szczegółem i od razu sprawia, że całość wydaje się bardziej solidna. Przynajmniej może to działać jako naprawdę ładna tapeta w Wallpaper Engine.

Pęknięcia pojawiły się, gdy powiększyłeś obraz. Komunikat na ekranie mówi, aby „kliknąć planety, aby się na nich skupić”, ale kliknięcie w rzeczywistości nic nie robi. A trafienie kliknięciem w poruszającą się planetę w pierwszej kolejności jest bardziej frustrujące, niż powinno być. Tekstury planet były kolejnym słabym punktem — proste gradienty, brak prawdziwych szczegółów powierzchni i brak sposobu, aby stwierdzić, czy któraś planeta w ogóle się obraca. Wybranie planety z menu faktycznie uruchamia efekt kamery podążającej, ale towarzyszył temu błąd: kiedy już się zablokowano na planecie, nie dało się cofnąć powiększenia. Trzeba było odświeżyć stronę, aby wrócić do normalnego widoku. Fajna funkcja, zepsute wykonanie.

ChatGPT długo i starannie myślał

Potem się pomylił

ChatGPT był ostatni, który skończył. Użyłem ChatGPT 5.4 Thinking i myślał przez dłuższą chwilę, zanim wygenerował kod. Niestety, wynik był od razu całkowicie zepsuty. Wszystkie planety były ułożone w tym samym miejscu co słońce — brak orbit, brak odstępów, brak rotacji, po prostu stos kul nachodzących na siebie w punkcie początkowym.

Powiedzieliśmy: żadnych poprawek i żadnych ponownych prób, więc to jest rezultat, który oceniamy. I dokładnie o to chodzi w teście. Gdyby agent polegał na tym modelu, aby generować działający kod bez podpowiedzi, to właśnie by otrzymał.

Co ciekawe, poprosiłem ChatGPT, aby przejrzał własny kod i zidentyfikował problem. Wypisał około tuzina potencjalnych problemów, a prawdziwy całkowicie przeoczył. Po dokładniejszej ręcznej inspekcji przyczyna okazała się prosta i niemal ludzka: symulacja przechowywała odległości orbitalne w jednostkach astronomicznych (AU), ale renderer oczekiwał kilometrów. Więc kiedy kod miał umieścić Merkurego 0,5 AU od Słońca, umieścił go 0,5 km dalej — efektywnie w jego wnętrzu.

Warto zauważyć: ChatGPT całkowicie pominął Three.js i wybrał widok 2D z góry. Interfejs miał więcej kontrolek niż Gemini i wyglądał całkiem dopracowanie, ale to wszystko nie ma znaczenia, gdy sama symulacja nie działa.

Claude był na innym poziomie

To był jedyny, który wydawał się gotowym produktem

Claude skończył po Gemini, ale zdecydowanie przed ChatGPT. Używałem Claude Sonnet 4.6, najnowszego modelu w darmowym planie, ponieważ nie mam subskrypcji. Różnica w jakości między wynikami Claude'a a innymi była ogromna. Lata świetlne, jeśli pozwolisz na to wyrażenie.

Podobnie jak Gemini, wybrało Three.js, ale zaimplementowało je znacznie bardziej gruntownie. Pierwszą rzeczą, która rzuciła się w oczy, było dodanie pasa asteroid. Gemini nawet się tym nie przejmowało. A potem były tekstury! Planety Clauda naprawdę wyglądały jak planety. Ziemia wyglądała rozpoznawalnie jak Ziemia. Jowisz miał swoją Wielką Czerwoną Plamę. Saturn, pomimo ograniczeń pojedynczego pliku HTML, wyglądał zaskakująco blisko prawdziwego.

Ostatnia część jest warta podkreślenia. To wciąż był tylko jeden samodzielny plik. Normalnie oczekiwałoby się, że prawidłowe mapy tekstur lub zewnętrzne zasoby obrazów będą ładowane osobno. Nie było ich. Claude wygenerował wszystkie te tekstury proceduralnie w JavaScript, wewnątrz samego pliku, i wykonał świetną robotę.

Planety były rozmieszczone w sposób bardziej realistyczny, obracały się w sensownym stosunku prędkości względnych, a ich orbity wokół słońca również wydawały się znacznie bliższe rzeczywistości. Był przycisk sterowania prędkością, z domyślnym ustawieniem na jeden dzień na sekundę, wraz z przełącznikami dla ścieżek orbitalnych, pasa asteroidów i innych elementów wizualnych.

Claude po prostu posunął się dalej niż inni. Grafika była lepsza, UX był lepszy, a całość wydawała się bardziej dopracowana zarówno pod względem formy, jak i funkcji. Co najważniejsze, sprawiało wrażenie prawdziwego produktu, a nie interesującego pierwszego szkicu. I osiągnął to jednym poleceniem i jednym próbą.

Claude to LLM dla osób, które naprawdę chcą wykonać pracę

Ten mały eksperyment kosztował mnie 20 dolarów, ponieważ teraz prawie na pewno subskrybuję Claude'a. Mogę zakończyć moją subskrypcję ChatGPT, aby to zrównoważyć. To, co jest bardziej żenujące, to fakt, że spośród trzech uczestników już za dwóch płacę. Zwycięzca wygrał, korzystając z darmowej wersji. Przynajmniej w tym teście niepłacenie za Claude'a okazało się bardziej produktywne niż płacenie za Gemini i ChatGPT.

Claude nie ma trybu rozmowy wideo. Nie stara się być twoim najlepszym przyjacielem ani nie stawia na pierwszym miejscu tego, żebyś poczuł się dobrze. To mówi ci coś o tym, dla kogo produkt jest stworzony i co tak naprawdę ceni firma.

Modele językowe wyglądają podobnie na pierwszy rzut oka. Warto jednak zapytać, do czego dany model jest faktycznie zoptymalizowany. Czy został zaprojektowany, aby imponować ci podczas demonstracji? Aby utrzymać twoje zaangażowanie? Aby wydawać się ludzkim? A może po to, by wykonać swoją pracę?

Claude ewidentnie należy do tej ostatniej kategorii.