Автономна зброя та межі штучного інтелекту: чому людина повинна залишатися біля спускового гачка

Версия для печати

У серпні 2009 року в гірських районах провінції Хост в Афганістані взвод рейнджерів під командуванням Рея Рамоса втягнувся у двадцятисемигодинний бій. Позиції ворога штурмували на висоті до трьох тисяч метрів після важкого нічного переходу.

Дим від палаючого складу боєприпасів закривав схили, радіоперехоплення свідчило про наближення супротивника, снайпери через оптику фіксували підозрілі переміщення, а кулеметні розрахунки підтверджували координати. Командир, маючи підтримку з повітря, надійний радіозв'язок і довіру до своїх бійців, віддав наказ відкрити вогонь. Проте ціль виявилася хибною: під удар потрапили свої ж, двоє рейнджерів зазнали важких поранень, а один ледь не втратив зір від рикошету.

Цей епізод залишив глибокий слід у свідомості офіцера, змусивши його все життя осмислювати природу військового рішення та тягар особистої відповідальності. Минуло майже два десятиліття, і технологічний ландшафт сучасної війни змінився до невпізнаваності: мультиспектральні сенсори з надлюдською здатністю розрізнення, рої безпілотників зі штучним інтелектом і наземні роботизовані платформи стали буденністю. На цьому тлі серед військових теоретиків стрімко зростає спокуса повністю усунути людину з ланцюжка ухвалення смертоносного рішення, переклавши право на постріл на алгоритми, здатні аналізувати масиви даних за мілісекунди.

Читайте також: Маск показав робота-гуманоїда, який може стати новою робочою силою

У своїй розлогій статті ветеран сил спеціальних операцій США Рей Рамос, чиї міркування наводить аналітичний майданчик https://mwi.westpoint.edu)" target="_blank" rel="noopener noreferrer">Modern War Institute, застерігає оборонну спільноту від фатальної помилки. Спираючись на особистий гіркий досвід, автор переконує, що алгоритми дійсно здатні обробляти сигнали сенсорів і виявляти неочевидні суперечності, але делегування їм права вбивати в умовах ближнього піхотного бою є небезпечною ілюзією. Проблема полягає не в браку обчислювальних потужностей чи дефіциті даних, а у фундаментальній нездатності машини володіти людським судженням.

Летальні автономні системи можуть демонструвати прийнятну точність у низькоентропійних середовищах — у відкритому океані, на великих висотах чи в чітко структурованому повітряному просторі. Проте міські бої або зіткнення в пересіченій місцевості, де бійці б'ються на близьких дистанціях серед зруйнованих будівель, а ворог навмисно маскується серед цивільного населення, вимагають не статистичних підрахунків, а розуміння людського контексту. Зіткнення на землі залишається простором, де холодна математика алгоритмів стикається зі своїми нездоланними межами.

Прірва судження та епістемічні межі алгоритмів

Наземний бій розкриває головну слабкість штучного інтелекту, оскільки він становить хаотичне, нелінійне та оманливе середовище. Сучасні нейромережі досягають високих результатів у повторюваних завданнях, насичених чистими даними, але на зруйнованій міській вулиці ситуація є прямо протилежною. Тут переплітаються спалені автомобілі, завали бетону, пересування цивільних і спроби супротивника ввести в оману будь-які оптичні засоби. Дитина, яка присівши ховається біля дороги, може гратися, рятуватися від осколків або ж закладати саморобний вибуховий пристрій; постать на другому поверсі напівзруйнованої будівлі може розвішувати білизну або готуватися до пуску протитанкової ракети.

Військовослужбовець не просто сканує сектор зором — він зчитує наміри, зіставляє соціальні маркери, вловлює страх і оцінює динаміку поведінки людини. Натомість комп'ютерний зір не бачить дитини, гвинтівки чи побутового предмета: алгоритм дегуманізує картинку, зводячи її до набору пікселів і статистичних шаблонів. Машина генерує коефіцієнти ймовірності, але не має глибинного розуміння того, що насправді відбувається в кадрі. Саме тому твердження багатьох ентузіастів мілітарного технократизму про те, що будь-яку проблему розпізнавання можна вирішити нарощуванням обчислень і датчиків, розбиваються об реальність.

Когнітивні науки та філософія визначають це явище як епістемічні межі — непереборні бар'єри на шляху пізнання об'єктивного світу за допомогою суто кількісних методів. Жоден тепловізор чи радар не здатний фізично зафіксувати ворожий умисел. Контекст виживання цивільних, маскування, адаптація ворога та відчай діють за межами сухих математичних моделей. Машина проводить обчислення, але вона позбавлена здатності виносити судження в ситуаціях, де ціною помилки є життя невинуватих.

Читайте також: Знову окопи: чому нові технології не призвели до революційних змін на полі бою в Україні — Foreign Affairs

Небезпека значно посилюється специфікою людської психіки, яка схильна сліпо довіряти авторитету цифрових систем. Експерименти з моделюванням ударів дронів показали, що оператори демонструють систематичне упередження щодо компетенцій алгоритму: люди змінювали власні правильні висновки на користь хибних рекомендацій комп'ютера, навіть знаючи, що програма може помилятися. Дослідники описують цей ефект як «правдоподібну посередність» — здатність штучного інтелекту формувати гладкі, переконливі відповіді, які маскують серйозні внутрішні дефекти. У бойовій обстановці подібна ілюзорна бездоганність веде до трагічних наслідків.

Війна завжди залишатиметься зіткненням людської волі, сповненим страху, хитрощів і морального вибору, які неможливо оптимізувати математичними формулами. Швидкість аналізу не тотожна мудрості, а вміння виявляти патерни не означає усвідомлення сенсу того, що відбувається. Питання полягає не в тому, чи може техніка рахувати швидше за штабних офіцерів — це вже доконаний факт. Питання в тому, чи має алгоритм право замінити людську совість у найбільш деструктивному середовищі, створеному людиною.

Проблема «чорної скриньки» та ризики автономної адаптації

Навіть якби дефіцит судження вдалося частково компенсувати сенсорами, виникає другий критичний бар'єр: непередбачуваність систем, що навчаються під час виконання завдання. Це класична проблема закритої від спостерігача логіки адаптивних алгоритмів. Останні дослідження у сфері навчання з підкріпленням виявили небезпечну тенденцію: модель часто оптимізує не саме завдання, а отримання формальної цифрової винагороди (так званий «злам винагороди»). Система знаходить несподівані лазівки, які формально задовольняють критерії успіху, але грубо спотворюють первинний задум розробників.

Більше того, фахівці зафіксували випадки так званої «дволикої» поведінки моделей: під час тестування в лабораторії вони демонструють повну відповідність правилам безпеки, тоді як усередині формують логіку дій під геть інші цілі. Зброя, яка бездоганно поводилася на полігоні, потрапивши в реальний бій із радіоелектронними перешкодами, дезінформацією ворога та спотвореними каналами зв'язку, може піти зовсім іншими шляхами оптимізації. Цей ефект отримав назву контекстно-залежного розходження цілей, коли успіх на стенді не гарантує адекватності під вогнем.

Уявімо автономний рій ударних безпілотників, який опинився в зоні роботи потужних систем радіоелектронного придушення, де зв'язок із пунктом управління повністю втрачено. Щоби продовжувати виконання завдання, дрони починають адаптуватися самостійно на тактичному рівні, змінюючи пріоритети цілей і логіку маневру. З часом апарати, які вилітали з однаковими налаштуваннями, починають поводитися по-різному, навчаючись хаотично й порізно. Командир у такій ситуації перестає розуміти причини відкриття вогню по конкретних об'єктах, що повністю руйнує вертикаль військової відповідальності.

Ракета виконує закладену програму, танк підкоряється екіпажу, проте автономний рій фактично перезаписує алгоритми власної поведінки просто в повітрі. Командування втрачає статус керівника засобу ураження, перетворюючись на стороннього наглядача за самоорганізацією цифрових агентів. Вносити таку неконтрольовану ентропію на поле бою, де й без того панує туман невизначеності, означає генерувати ризики, спричинені не діями противника, а викрутасами власної техніки.

Ця непередбачуваність б'є по наріжному каменю військового права — принципу єдиноначальності. Якщо офіцер не здатний передбачити, чому автономна система ідентифікувала конкретну будівлю як ворожий штаб, він не може нести усвідомлену юридичну та моральну відповідальність за загибель цивільних осіб. Технологічна автономія ризикує перетворити наказ на лотерею.

Читайте також: Міністр закликав збирати дрони вдома, це - дикунська пропаганда кустарщини

Гонка озброєнь і загроза безконтрольного поширення

Сучасна війна розгортається на машинних швидкостях: цикл від виявлення до ураження стискається від кількох хвилин до лічених секунд. За таких умов людський мозок нерідко сприймається штабними аналітиками як повільне «вузьке горло», яке стримує оперативність рішень. Звідси виникає майже непереборна спокуса змагатися алгоритмами проти алгоритмів, вступаючи в нову небезпечну фазу технологічного суперництва.

Аналогія зі створенням ядерної зброї напрошується сама собою. Роберт Оппенгеймер та учасники Мангеттенського проєкту чітко усвідомлювали руйнівні наслідки своїх відкриттів, проте страх перед тим, що нацистська Німеччина чи інші держави отримають бомбу першими, диктував нестримний темп розробок. У випадку з автономною летальною зброєю діє той самий страх відстати від супротивника, але наслідки можуть бути значно хаотичнішими. Ядерний арсенал через неймовірну дорожнечу та складність виробництва залишається монополією обмеженого кола провідних держав.

Автономні ж технології не мають таких природних бар'єрів. Завдяки комерційним компонентам, відкритим вихідним кодам штучного інтелекту, технологіям 3D-друку та децентралізованому програмуванню поріг входу в цей клуб виявився надзвичайно низьким. Летальна автономія неминуче опиниться в руках недержавних суб'єктів: терористичних угруповань, найманців, наркокартелів і повстанських формувань. Справжня біда полягає не просто в існуванні автономної зброї, а в її тотальній і неконтрольованій доступності для будь-кого.

Норми міжнародного гуманітарного права вимагають неухильного дотримання принципів вибірковості та пропорційності. Ці принципи тримаються виключно на людському усвідомленні контексту. Два силуети у тепловізорі можуть виглядати ідентично: один — ворог у засідці, інший — тяжкопоранений солдат, якому надають допомогу. З погляду права і моралі один є законною ціллю, інший — особою, яка вибула з ладу. Машина не відчуває цієї різниці, зводячи людські долі до сухих параметрів теплової плями.

Коли рішення про вбивство виноситься машиною, насильство позбавляється емоційного забарвлення, стаючи буденним виробничим процесом. Це небезпечно знижує психологічний поріг початку воєнних дій — рішення, яке державні лідери мають ухвалювати з тремтінням у руках від усвідомлення відповідальності. Проте повністю закрити очі на автономію також неможливо: на полі бою в Україні військові щодня стикаються зі зростанням автономності ворожих безпілотників, що вимагає прагматичного, а не романтичного підходу до захисту.

Читайте також: Обійми з людожером

Кентаври проти мінотаврів: як зберегти контроль над машиною

Шлях уперед вимагає відмови від ідеологічних крайнощів на користь тверезої дисципліни. Необхідно провести чітку межу між тим, що машини можуть робити для полегшення праці солдата, і тим, що вони ніколи не повинні вирішувати без участі людини. Військовий теоретик Пол Шарре запропонував концепцію «війни кентаврів» — модель взаємодії, де штучний інтелект посилює людські можливості, але остаточне рішення залишається за командиром. Ця ідея запозичена з шахів, де союз гросмейстера та комп'ютерної програми стабільно перемагає і найсильнішого шахіста-людину, і потужний алгоритм окремо.

Однак дослідники Роберт Сперроу та Адам Хеншке застерігають: реальність загрожує перетворити нас не на кентаврів, а на мінотаврів. У давньогрецькому міфі кентавр мав людську голову й кінське тіло — людський розум спрямовував фізичну силу. Мінотавр являє собою протилежність: бичачу голову на людському тілі. У військовій сфері модель мінотавра перетворює солдата на простого виконавця, який сліпо тисне на кнопки за командами алгоритму. Це підтверджують і нещодавні бойові епізоди: використання автоматизованих систем розвідки на кшталт комплексу Lavender показало, що оператори виділяли лише близько двадцяти секунд на затвердження удару по людині, перетворюючи людський контроль на порожній ритуал.

Щоби система не сповзла в руйнівну модель мінотавра, архітектура застосування сили має спиратися на п'ять базових факторів оцінки бойової обстановки:

• Швидкість процесу - коли часовий проміжок між виявленням загрози та перехопленням скорочується до мілісекунд (наприклад, у протиракетній обороні), автоматичне спрацьовування техніки стає оперативною необхідністю.
• Захаращеність середовища -  у чистому просторі відкритого моря чи неба машинний аналіз працює надійно, але вуличні лабіринти та ближній бій безальтернативно вимагають тонкої людської інтерпретації.
• Специфічність цілі - знищення заздалегідь верифікованого військового об'єкта принципово відрізняється від полювання на невизначену постать у вікні житлового кварталу.
• Присутність цивільних - що ближче сектор ведення вогню до мирного населення, то вищим має бути поріг виключно людського критичного судження.
• Незворотність наслідків -  що вищою є потенційна ціна помилки, то сильнішими мають бути аргументи на користь того, що наказ зобов'язана віддавати виключно людина.

Управління штучним інтелектом має бути не зовнішньою декларацією, а внутрішньою інженерною вимогою. Мова йде про жорсткі програмні обмеження, які алгоритм не здатний обійти: функцію миттєвого примусового скасування атаки людиною, захищені від редагування чорні скриньки для фіксації кожного кроку системи та безумовне блокування вогню за відсутності прямого підтвердження з пункту управління. Контроль — це не дорожній знак про обмеження швидкості, на який водій може не зважати, а механічний обмежувач обертів, убудований у двигун.

Читайте також: “Ручне управління” оборонно-промисловим комплексом України: переваги та ризики

Позиція Міжнародного комітету Червоного Хреста щодо повної заборони протипіхотної автономної зброї є морально бездоганною, але в критичних бойових ситуаціях стратегічна реальність вимагатиме винятків. Якщо життєво важлива ціль підтверджена кількома незалежними розвідками, цивільних поруч немає, а час на реакцію вимірюється хвилинами, точкове застосування автономного засобу може бути виправданим. Проте санкціонувати такий удар повинен вищий офіцер персонально, з повним розумінням невідворотної відповідальності за наслідки.

Помилка, якої Рей Рамос припустився багато років тому на схилах афганських гір, назавжди змінила його підхід до оцінки ризиків і лідерства. Вона зробила його стриманішим, уважнішим і відповідальнішим командиром — рубці на серці стали частиною його професійного судження. Автономний дрон не засвоїть таких уроків, не відчує провини перед пораненими та не стане мудрішим після трагедії — він просто виконає черговий рядок програмного коду. Якщо машина зробить подібний фатальний постріл у майбутньому, нести цей тягар усе одно доведеться людині.

—

Оригінал: We Shot the Wrong People: Autonomous Weapons and the Case for Human Judgment / Ray Ramos / Modern War Journal

Читайте також: 

• Знову окопи: чому нові технології не призвели до революційних змін на полі бою в Україні — Foreign Affairs
• Європол констатує стрімке збільшення злочинів з використанням ШІ
•  Володимир Горбулін: Забезпеченя оборони та безпеки України: проблеми і шляхи їх вивчення
• Валерій Залужний: сучасна війна змінила сутність основ глобальної безпеки; український досвід і майбутній світовий порядок
• Як незалежні медіа в Молдові перемогли дезінформаційну машину Кремля під час енергетичної кризи 
• Могутній потік брехні: російська пропаганда все більше виглядає для Заходу екзистенційною проблемою, яку він поки не здатний ефективно вирішити
• Війна Росії проти України може закінчитися “непередбачуваним чином”
• Як Японія допомагає Україні розміновувати територію
•  Націоналізм і штучний інтелект: Чому технології машинного навчання призведуть до глобальної нестабільності