Aplikacje wkrótce spotkają ten sam los co media drukowane, gdy agenci AI zaczną tworzyć spersonalizowane, zweryfikowane oprogramowanie

Agenci AI mogą zakończyć erę aplikacji, przekształcając oprogramowanie w zweryfikowane systemy tworzone przez użytkowników

Agenci AI mogą sprawić, że uruchamianie kodu napisanego przez nieznajomych stanie się jednym z tych zachowań, które późniejsze pokolenia będą miały trudności ze zrozumieniem.

Społeczeństwo może normalizować ryzyko przez dekady, a następnie ponownie sklasyfikować je jako lekkomyślne, gdy dostępne stanie się bezpieczniejsze rozwiązanie domyślne.

Picie przed jazdą, jazda bez pasów bezpieczeństwa, palenie w pomieszczeniach zamkniętych i instalowanie dowolnych plików binarnych z internetu — wszystko to należy do tej samej rodziny historycznych ślepych plamek. Wspólnym mianownikiem jest społeczne przyzwolenie.

Zachowanie utrzymuje się, gdy alternatywa jest kosztowna, niewygodna lub technicznie niedostępna. Gdy bezpieczniejsza ścieżka staje się tania i rutynowa, stara ścieżka zaczyna wyglądać irracjonalnie.

Agenci AI ujawniają słabość modelu zaufania do oprogramowania

Nowoczesne oprogramowanie nadal działa w oparciu o umowę, którą rzadko analizujemy. Deweloper, firma, fundacja lub anonimowy opiekun pisze kod. Kanał dystrybucji go pakuje. Użytkownik, przedsiębiorstwo lub system operacyjny go uruchamia.

Bezpieczeństwo staje się wówczas wielowarstwową próbą zarządzania konsekwencjami tej decyzji.

Uprawnienia, podpisywanie kodu, sklepy z aplikacjami, wykrywanie punktów końcowych, sandboxing, należyta staranność wobec dostawców i reagowanie na incydenty — wszystko to istnieje, ponieważ podstawowy akt pozostaje niebezpieczny: wykonywanie instrukcji kogoś innego na własnym urządzeniu, wewnątrz własnego konta, z dostępem do własnych danych.

Ten model zaufania zawiódł na poziomie instytucjonalnym. Kompromitacja SolarWinds pokazała, jak złośliwy kod wstrzyknięty w zaufany proces budowania oprogramowania mógł być dystrybuowany poprzez normalne aktualizacje i dotrzeć do agencji rządowych, firm technologicznych, sieci telekomunikacyjnych i innych celów w wielu regionach.

Operacyjna lekcja miała charakter strukturalny, a powierzchnią ataku była sama wiarygodność dostawcy.

Po skompromitowaniu procesu budowania, normalne oznaki zaufania stały się infrastrukturą dostarczania ataku.

Ten sam schemat pojawił się w backdoorze XZ Utils, gdzie CISA ostrzegła w marcu 2024 roku, że złośliwy kod został osadzony w wersjach 5.6.0 i 5.6.1 biblioteki kompresji obecnej w dystrybucjach Linuksa.

National Vulnerability Database opisała później, jak zamaskowany plik testowy i manipulacja procesem budowania wytworzyły zmodyfikowaną bibliotekę liblzma zdolną do przechwytywania i modyfikowania interakcji danych w powiązanym oprogramowaniu.

Łańcuch dostaw oprogramowania może zostać skompromitowany daleko przed użytkownikiem, a następnie dotrzeć kanałami, które wydają się rutynowe. Widzieliśmy to w kryptowalutach niezliczoną ilość razy przy exploitach DNS i JavaScript npm.

Odpowiedzią branży było dodanie silniejszego procesu. Framework NIST Secure Software Development Framework daje organizacjom wspólny zestaw praktyk do budowania i pozyskiwania oprogramowania przy zmniejszonym ryzyku.

Framework SLSA wprowadza proweniencję, integralność i odporność na manipulacje do potoku artefaktów. Te kontrole są niezbędne.

Ujawniają również limit obecnego modelu. Przedsiębiorstwa stale udoskonalają metody decydowania, któremu zewnętrznemu kodowi należy zaufać.

Następny model zmniejsza ilość zewnętrznego kodu, który w ogóle wymaga zaufania.

Ta zmiana zmienia społeczne znaczenie oprogramowania. Dziś kod stron trzecich jest traktowany jako zasób zwiększający produktywność z narzutem bezpieczeństwa.

Jutro może być traktowany jako zobowiązanie wymagające uzasadnienia. Domyślne pytanie użytkownika zmienia się z „Którą aplikację mam zainstalować?" na „Dlaczego mam uruchamiać czyjąś aplikację, skoro mój agent może zbudować tę funkcję dla mnie?"

To jest prawdziwa linia pęknięcia. Oprogramowanie przestaje być przede wszystkim produktem wybieranym z rynku i staje się efektem generowanym na żądanie w środowisku wykonawczym kontrolowanym przez użytkownika.

Oprogramowanie tworzone przez agenty przekształca aplikacje w jednorazowe wyrazy intencji

Kierunek podróży jest widoczny w agentach kodujących. OpenAI Codex został wprowadzony jako oparty na chmurze agent inżynierii oprogramowania zdolny do pracy nad wieloma zadaniami równolegle.

Claude Code firmy Anthropic to agentyczny system kodowania, który mapuje bazę kodu, zmienia pliki, uruchamia testy i dostarcza zacommitowany kod.

Agent kodujący Copilot GitHuba przeniósł ten sam schemat do przepływu pracy GitHub, z asynchroniczną pracą nad issues i pull requestami.

Google Jules prezentuje podobny kierunek: autonomiczny agent kodujący, który przyswaja kontekst produktu, generuje rozwiązania i wysyła pull requesty.

Te produkty są nadal postrzegane jako narzędzia dla deweloperów. To postrzeganie będzie się zawężać z czasem. W przypadku Codexa już tak jest. OpenAI wprowadził w zeszłym miesiącu opcję interfejsu użytkownika skupioną na „czatach" i wynikach, a nie na kodzie i terminalach.

Większą zmianą jest to, że tworzenie oprogramowania staje się osobistym aktem delegacji. Użytkownik opisuje przepływ pracy. Agent generuje interfejs, logikę, integracje, testy i ścieżkę wykonania.

Artefakt może trwać godzinę, tydzień lub rok. Może być regenerowany, forkowany, ograniczany, audytowany, odrzucany lub przebudowywany dla nowego kontekstu.

Aplikacja staje się mniej jak trwały obiekt, a bardziej jak lokalna polityka skompilowana w użyteczny interfejs.

Ma to bezpośrednie implikacje dla zaufania. Użytkownik nadal może obserwować aplikacje innych ludzi. Może sprawdzać przepływy pracy, wzorce interfejsów, schematy danych, podpowiedzi, automatyzacje i integracje usług. Jednak obserwacja może pozostać oddzielona od wykonania.

Użytkownik może skopiować pomysł, a następnie poprosić osobistego agenta o odbudowanie funkcji od podstaw w środowisku rządzonym przez własne zasady użytkownika. Wartość migruje ze skompilowanego artefaktu do wzorca.

Dystrybucja staje się mniej związana z dostarczaniem wykonywalnego kodu, a bardziej z publikowaniem intencji, projektów, dowodów, schematów i oczekiwań API.

Kryptowaluty wchodzą do argumentacji poprzez weryfikację, a nie branding. Agent użytkownika nadal będzie łączyć się z zewnętrznymi usługami.

Może wywoływać szyny płatności, systemy tożsamości, punkty końcowe danych rynkowych, warstwy przechowywania, dostawców modeli AI, rynki obliczeniowe, systemy przesyłania wiadomości i usługi compliance. Granica zaufania przesuwa się do tych punktów końcowych i twierdzeń na ich temat.

Użytkownicy będą potrzebować sposobów na ocenę zewnętrznych usług pod względem audytowalności, proweniencji, postawy bezpieczeństwa i zgodności ekonomicznej. Usługa zbudowana w weryfikowalnym środowisku będzie oceniana inaczej niż punkt końcowy typu black-box kontrolowany przez platformę korporacyjną.

Weryfikowalne punkty końcowe stają się nową warstwą dystrybucji oprogramowania

Systemy zero-knowledge zapewniają jedną ścieżkę do tej warstwy rankingowej. ZK rollups pokazują, jak obliczenia mogą być wykonywane poza łańcuchem, podczas gdy zwięzły dowód weryfikuje ważność wynikającej zmiany stanu w łańcuchu.

Ten sam konceptualny wzorzec może rozszerzyć się poza skalowanie transakcji. Użytkownicy mogą chcieć dowodów, że punkt końcowy uruchomił zatwierdzony kod, przetworzył dane zgodnie z zdefiniowanymi ograniczeniami, zachował granice prywatności lub wyprodukował wynik z określonej audytowanej kompilacji.

Dowód może zachować wewnętrzną poufność, jednocześnie zawężając lukę zaufania między osobistym agentem a zewnętrzną zależnością.

Długoterminowy interfejs może przypominać warstwę operacyjną kontrolowaną przez agenta. Użytkownik prosi o dashboard, narzędzie do zarządzania portfelem, asystenta badawczego, system publikowania, osobisty CRM, przepływ pracy księgowej lub monitor bezpieczeństwa.

Agent składa go z wygenerowanego kodu i ocenianych punktów końcowych. Kod jest inspektowalny, ponieważ agent go stworzył.

Zależności są ograniczone, ponieważ agent wybrał je zgodnie z polityką. Środowisko wykonawcze jest audytowalne, ponieważ użytkownik wybrał to jako wymóg.

Użytkownik nadal uczestniczy w sieciowej gospodarce. Kontrola przesuwa się bliżej jednostki.

Punkt końcowy tej transformacji to rynek weryfikowalnych funkcji, klientów generowanych przez agenty i ocenianych usług zewnętrznych. Zewnętrzni deweloperzy nadal istnieją, ale ich rola się zmienia.

Publikują protokoły, API, szablony, dowody, modele, komponenty i implementacje referencyjne. Użytkownicy uruchamiają własne wersje.

Przedsiębiorstwa nadal istnieją, ale ich przewaga przesuwa się z kontrolowania dystrybucji na udowadnianie niezawodności. Społeczności open-source nadal istnieją, ale ciężar przesuwa się z proszenia użytkowników o zaufanie opiekunom w kierunku dostarczania agentom wystarczającej ilości ustrukturyzowanego materiału do bezpiecznej przebudowy.

Stara gospodarka oprogramowania sprzedawała gotowe aplikacje. Nowa sprzedaje wiarygodne możliwości.

Tracker portfela staje się wygenerowanym interfejsem nad punktami końcowymi danych rynkowych, uprawnieniami portfela, logiką podatkową i zasadami raportowania. System publikowania staje się wygenerowanym przepływem pracy nad tożsamością, edytowaniem, zarządzaniem treścią, analizą i API dystrybucji.

Terminal badawczy staje się powierzchnią generowaną z baz danych, wywołań modeli, sprawdzania proweniencji i prywatnych notatek. W każdym przypadku agent użytkownika obsługuje kompozycję.

Świat zewnętrzny dostarcza weryfikowalnych zasobów. Ta zmiana tworzy również komercyjny test dla każdego dostawcy infrastruktury: udowodnij twierdzenie, opublikuj interfejs, ujawnij zestaw ograniczeń i pozwól agentom po stronie użytkownika zdecydować, czy usługa zasługuje na włączenie.

Centralne rozdzielenie staje się suwerennością prywatnego oprogramowania kontra zarządzana wygoda

Zwykła debata ujmuje przyszłość jako lokalne kontra chmura. Ten podział obejmuje część pytania o infrastrukturę, pomijając ekonomię polityczną.

Prywatny system może korzystać z obliczeń w chmurze zgodnie z ograniczeniami zdefiniowanymi przez użytkownika. System korporacyjny może działać lokalnie, jednocześnie zamykając tożsamość, zachęty, uprawnienia i monetyzację wewnątrz stosu kontrolowanego przez dostawcę.

Trwalsze rozdzielenie to prywatne kontra korporacyjne. Kto definiuje aplikację?

Kto decyduje, do czego ma dostęp? Kto otrzymuje telemetrię?

Kto ustala ścieżkę aktualizacji? Kto może odwołać funkcję?

Kto korzysta na zależności użytkownika?

To rozdzielenie stanie się bardziej widoczne, gdy agentyczne oprogramowanie stanie się wystarczająco tanie dla zwykłych użytkowników. Jedna ścieżka prowadzi w kierunku osobistej suwerenności oprogramowania.

Użytkownicy utrzymują agentów, którzy budują i przebudowują potrzebne im narzędzia. Wybierają dostawców punktów końcowych na podstawie atestacji, kosztów, niezawodności, prywatności i zgodności.

Mogą porzucić interfejs, zachowując podstawowy przepływ pracy. Mogą migrować z jednego punktu końcowego do drugiego.

Mogą wygenerować nowego klienta, gdy stary zostanie skompromitowany, przechwycony lub nieefektywny. Warstwa oprogramowania staje się przenośna, ponieważ użytkownik posiada intencję, a agent może odtworzyć implementację.

Inna ścieżka prowadzi w kierunku zarządzanej wygody. Platformy korporacyjne będą oferować dotowane aplikacje, zintegrowaną tożsamość, kredyty, płatności, przechowywanie, dostęp do AI i domyślne przepływy pracy.

Część z tego będzie użyteczna. Część będzie ekonomicznie przymusowa.

Jeśli napędzana przez AI obfitość wytworzy publiczne lub prywatne programy dochodów zbliżone do UBI, kredyty obliczeniowe, dystrybucje tokenów lub świadczenia powiązane z platformą, szyna dystrybucji może stać się mechanizmem miękkiego uzależnienia. Użytkownicy mogą otrzymywać dostęp do usług za pośrednictwem ekosystemu, który również definiuje, jakie oprogramowanie uruchamiają, jak poruszają się ich dane i którzy agenci mogą działać w ich imieniu.

Warstwa UBI jest najbardziej wrażliwą wersją tego problemu. Sam Altman jest od dawna związany z debatami ery AI na temat dystrybucji dochodów, a Worldcoin był częściowo sformułowany wokół dowodu człowieczeństwa i możliwości dystrybucji podobnych do UBI.

Szerszy punkt jest większy niż jeden projekt. Kiedy wsparcie ekonomiczne, weryfikacja tożsamości, dostęp do obliczeń i uprawnienia do oprogramowania zbiegają się, uczestnictwo może stać się warunkowe, wyglądając jednocześnie dobrowolnie.

Użytkownik może być teoretycznie wolny do rezygnacji, będąc jednocześnie w praktyce popychany w kierunku zarządzanej warstwy aplikacji.

Wygoda staje się głównym polem bitwy. Korporacyjny stos pozyska użytkowników poprzez niskie tarcie.

Będzie oferować dopracowane ustawienia domyślne, natychmiastowy dostęp, zintegrowaną AI, kompatybilność społeczną, przepływy odzyskiwania, pokrycie compliance i nagrody. Prywatny stos będzie musiał konkurować w czymś trudniejszym: autonomii, która wydaje się użyteczna.

Musi dać użytkownikom powód do przyjęcia większej odpowiedzialności przy unikaniu technicznej administracji. Osobisty agent staje się decydujący, ponieważ może wchłonąć złożoność, która wcześniej sprawiała, że suwerenność była niepraktyczna.

Następnym testem jest to, czy użytkownicy wybiorą wygenerowane zaufanie ponad zapakowaną wygodę

Ryzyko pierwszego rzędu polega na tym, że użytkownicy oddają kontrolę za wygodę, zanim zrozumieją koszt. Ryzyko drugiego rzędu polega na tym, że handel staje się dotowany, znormalizowany i ostatecznie wymagany dla dostępu do życia gospodarczego.

Aplikacje korporacyjne mogą stać się domyślnym środowiskiem dla tych, którzy akceptują zbiorcze korzyści. Prywatnie generowane aplikacje mogą stać się domyślnymi dla tych, którzy są gotowi płacić, weryfikować, konfigurować lub samodzielnie przechowywać swoją warstwę oprogramowania.

Tworzy to nowy podział klasowy wokół kontroli wykonania. Pytanie brzmi, czy agentyczna AI kompresuje ten podział, czy go pogłębia.

Ta transformacja będzie nierówna. Sektory regulowane będą poruszać się wolniej.

Przedsiębiorstwa będą bronić ekosystemów aplikacji argumentami compliance. Konsumenci będą nadal wybierać domyślną wygodę, gdy prywatna alternatywa wydaje się krucha.

Napastnicy będą atakować agentów, podpowiedzi, wybór zależności, łańcuchy dostaw modeli i atestacje punktów końcowych. Systemy weryfikacji stworzą nowe wąskie gardła, jeśli zostaną przejęte przez niewielką liczbę urzędów certyfikacji, platform chmurowych lub dostawców modeli.

Osobista suwerenność oprogramowania może stać się kolejnym sloganem marketingowym, chyba że użytkownicy będą mogli sprawdzać, migrować i odwoływać.

Niemniej kierunek jest wystarczająco jasny, aby zdefiniować następny test. Pytanie brzmi, czy ludzie zaakceptują wygodę ponad suwerenność, gdy ich własni agenci mogą zbudować większość tego, czego potrzebują.

Dziś odpowiedź jest w dużej mierze twierdząca, ponieważ alternatywa pozostaje zbyt wymagająca. Jutro odpowiedź staje się mniej pewna.

Użytkownik, który może wygenerować działającą aplikację, ograniczyć jej uprawnienia, audytować jej zależności, łączyć się tylko z ocenianymi punktami końcowymi i przebudowywać ją, gdy warunki się zmieniają, ma prawdziwą alternatywę dla korporacyjnego pakietu oprogramowania.

Ta alternatywa będzie na początku wydawać się dziwna. Następnie będzie wydawać się roztropna.

Następnie może stać się domyślnym oczekiwaniem dla każdego, kto obsługuje pieniądze, tożsamość, dane zdrowotne, prywatną komunikację, badania lub operacje biznesowe. Uruchamianie nieprzejrzystego kodu stron trzecich przetrwa, gdy dominuje wygoda, gdy dotacje zniekształcają wybór i gdy użytkownicy akceptują zarządzane środowiska w zamian za dostęp ekonomiczny.

Zaniknie tam, gdzie agenci uczynią prywatną generację rutynową.

Społeczna reklasyfikacja nastąpi powoli, a potem nagle. Stary nawyk pozostanie znajomy, dopóki nowe ustawienie domyślne nie stanie się oczywiste.

Gdy użytkownicy będą mogli prosić własnych agentów o zbudowanie aplikacji, weryfikację ścieżki wykonania i łączenie się tylko z poświadczonymi punktami końcowymi, ciężar wyjaśnienia odwróci się. Osoba uruchamiająca czyjś kod będzie potrzebowała powodu.

Osoba budująca za pośrednictwem agenta będzie po prostu używać bezpieczniejszego ustawienia domyślnego. Jednak może również musieć zaakceptować rezygnację z korporacyjnych zachęt przyznawanych tym, którzy pozostają podłączeni do matriksa.

Wpis Aplikacje wkrótce zmierzą się z tym samym końcem co prasa drukowana, gdy agenci AI będą budować spersonalizowane, zweryfikowane oprogramowanie po raz pierwszy pojawił się na CryptoSlate.