Tesla FSD wersji v14 nagle skręciła i bez żadnego powodu próbowała wjechać mną do rowu.

System Full Self-Driving v14.3.6 marki Tesla próbował wyjechać z autostrady w miejscu, które moje auto już minęło, z prędkością 110 km/h (68 mph), co mogło doprowadzić nas prosto do rowu.

Bym był gotów przejąć kontrolę, i tak też zrobiłem, ale to było przerażające. Moja dziewczyna siedząca na siedzeniu pasażera krzyczała ze strachu.

To, co pokazuje kamera w samochodzie

Wydarzyło się to w niedzielę wieczorem na autostradzie 55 w regionie Mauricie w Quebecu, przy użyciu systemu FSD (Supervised) v14.3.6 – najnowszej wersji tego systemu dostępnej na najnowszym sprzęcie Tesli.

Samochód jedzie z prędkością 110 km/h w prawej pasie. Sucha nawierzchnia, brak ruchu w żadnym kierunku, świeżo pomalowane linie na drodze, odblaskowe znaki nad głową. Idealne warunki dla FSD. Gdy przejeżdżamy pod mostkiem przy wyjściu 217, zapala się sygnalizator skrętu w prawo i samochód zaczyna zmierzać w stronę krawężnika, a na ekranie nadal widnieje napis „Samochód autonomiczny”.

Problem polegał na tym, że za nami już odchodziła warstwa malowania z rampy. Skręt w tak późnym momencie i przy takiej prędkości miał nas zepchnąć prosto do rowu.

Pokazana prędkość spada do 110, 109, 107, 104 w momencie wykonywania manewru. Wtedy chwyciłem kierownicę. Napis „Samochód autonomiczny” znika z ekranu przy prędkości 102 km/h.

To nie była chwila wahania ani problem z pozycją w pasie ruchu. Samochód postanowił włączyć sygnalizator skrętu i wyjechać na wyjście, którego w ogóle nie powinien był używać.

To były idealne warunki dla FSD.

Gdybyś miał zaprojektować najłatwiejszy możliwy scenariusz dla systemu Tesli, to właśnie taki byłby.

Droga z dwoma pasami ruchu. Noc, więc światła samochodów jadących z przeciwka oraz odbijacze na pasach są łatwe do dostrzeżenia. Brak ruchu, który wymagałby analizy. Wyraźne oznaczenia pasów ruchu. Duże, dobrze oświetlone znaki drogowe.

Na podstawie tego, co widziałem w wersji v14, jazda autostradą w nocy po pustej drodze to sytuacja, w której system funkcjonuje najlepiej. Przejechałem tysiące kilometrów dokładnie w takich warunkach, nie ingerując w nic. Dlatego byłem pewny siebie. A ta pewność jest właśnie pułapką.

Pisałem o tym konkretnym ryzyku w czerwcu

Dwa i pół miesiąca temu opublikowałem artykuł, w którym twierdziłem, że FSD v14 jest tak doskonały, że sprawia, iż staję się niebezpiecznie lekkomyślny. Napisałem wtedy, że „system, który funkcjonuje niemal perfekcyjnie, tworzy pułapkę – kierowcy ufają mu na tyle, by przestać uważać, ale on nadal zawodzi w nieprzewidywalny sposób, a czasem nawet poważnie”.

Zachowuję się zgodnie z każdym słowem – niedziela wieczorem była właśnie tą demonstracją. Kilka tysięcy mil pomiędzy krytycznymi interwencjami to naprawdę imponująca inżynieria. To także dokładnie taki odstęp, który uczy mózg przestaniać skanować otoczenie.

W notatkach wydawniczych wersji v14.3.6 firmy Tesla napisano, że firma „ulepszyła etap uczenia się przez wzmacnianie (Reinforcement Learning, RL) sieci neuronowej FSD”, przepisała kompilator AI przy użyciu MLIR w celu uzyskania „20% szybszego czasu reakcji” oraz poprawiła reakcję samochodu na degradację systemu, „zmniejszając niepotrzebne wyłączanie się funkcji”. Wyłączania się funkcji zmniejszają się, gdy oprogramowanie staje się lepsze, a także wtedy, gdy kierowca przestaje interweniować. Tesla nie publikuje żadnych informacji, które pozwoliłyby osobom z zewnątrz odróżnić te dwa czynniki.

A dostępne dane publiczne nie są pocieszające. Tesla zgłosiła do NHTSA rekordową liczbę 207 wypadków z udziałem Autopilot i FSD w ciągu jednego miesiąca, przy czym 99,9% z 3 763 raportów o wypadkach z udziałem systemów wspomagających kierowcę od 2019 roku ma usunięte szczegóły. Musk nadal mówi inwestorom, że FSD bez nadzoru będzie powszechnie używane w USA do końca roku, podczas gdy współdyrektor Waymo ciągle wyjaśnia, dlaczego samochody autonomiczne oparte wyłącznie na kamerach nie spełniają wymagań rzeczywistego systemu bezkierowcy.

Pogląd Electrek

Jeden incydent bliski wypadkowi to anegdota, a nie dane, ale uważam, że jest to ważne przypomnienie o konieczności zachowania czujności.

Jak często mówiłem, Tesla FSD v14 to naprawdę imponujący produkt. Oczywiście nie dorównuje temu, za co FSD pierwotnie był sprzedawany – czyli pełnej autonomii. Nie jest nawet bliski tego celu i prawdopodobnie nigdy nim nie będzie. To pozostanie problemem i zapewne najgorszym posunięciem Tesli w historii.

Ale jeśli odłożymy to na bok i spojrzymy na FSD jako na system wspomagania kierowcy typu punkt-do-punktu, jest on naprawdę niesamowity.

Jednak jego niezwykłość prowadzi już teraz do lekceważenia. Tesla nie pomaga w tym fakt, że prezes Elon Musk mówi rzeczy takie jak „możesz teraz patrzeć na telefon podczas jego używania”.

To oczywiście lekkomyślne. W miarę jak system się udoskonala, Tesla musi lepiej przekonywać kierowców do zachowania uwagi ze względu na ten problem lekceważenia. A nie odwrotnie.