Lethal, autonomous weapons use in Ukraine / Halálos, autonóm fegyverhasználat Ukrajnában
Assessing the degree of novelty / Az újdonság mértékének megítéléséhez (P. Marton)
By Péter Marton (Associate Professor, Department of International Relations, Corvinus University of Budapest)
< Magyar nyelvű változat elérhető alább / Scroll down for the Hungarian version >
An interesting report has emerged stating that Ukraine has, “for the first time,” deployed quadcopter drones as lethal weapons in autonomous mode, controlled by artificial intelligence (AI), in such a way that enemy combatants were killed as a result. This actually took place back in 2024, as a battlefield experiment. Whereas 99% of humanity only reads headlines, our readers are not part of that 99%, so below we’ll quickly correct the record on this issue, recall in detail the past, and then add a few strategic comments to all of this.
As for the correction: even the article just cited indicates that there had been, already, similar drone use against vehicle targets back in 2023. What was new in 2024 was that the systems in question directly targeted human combatants — otherwise, soldiers could have been killed inside vehicles targeted in the 2023 strikes, too.
Meanwhile, there is a noteworthy case from Libya to mention, dating back to 2020, and here I would like to quote at length from a previous article I wrote elsewhere, both for the details of the incident in question and for some insights that seem to have aged well.
“The following is stated on page 17 of this UN expert report on the Libyan conflict:
“Logistics convoys and retreating HAF (Haftar-allied forces) were subsequently hunted down and remotely engaged by unmanned combat aerial vehicles or lethal autonomous weapons systems such as the STM Kargu-2 (…) and other loitering munitions. The lethal autonomous weapons systems were programmed to attack targets without requiring data connectivity between the operator and the munition: in effect, a true “fire, forget and find” capability.”
(…)
Some experts (including distinguished ones like Ulrike Franke) have taken issue with the reporting saying this isn’t really “autonomous” killing — they are, however, victims of a common analytical fallacy that appears in the science fiction genre, too. Just as the word “stealth” does not mean “invisible,” “autonomous” does not mean “sentient.” Something may be autonomous and make decisions while not being self-aware. From the infrared-seeking air-to-air missiles that have been in use for decades (themselves killer robots, if you will, dynamically adjusting their trajectory in pursuit of their targets), this case differs only in that, once launched, the weapon in question goes out to find its own target (or whatever appears to be that). The operator doesn’t have to bother with this (…) The Kargu-2 performs this task with the same level of autonomy that a Facebook algorithm has as it tries to figure out whose posts you want to see in your newsfeed. Or like a spam filter in your email system, as it decides whether a particular message is legitimate.
(…)
This is what the remote control looks like; see below. To explain the buttons: VUR = STRIKE (top right corner); iPTAL = ABORT (top left corner). After the operator presses VUR, in the event of a data connection failure or loss, the Kargu-2 autonomously decides whether what it sees is the programmed target. A soldier with a weapon, or Uncle Joe with a hoe. The data link remains active up to a distance of 5–10 km from the operator. The operation may be launched in autonomous mode from the outset, as allegedly happened in March 2020, where (I speculate) the Kargu-2s may have been programmed — according to a command slightly different from the one guiding self-driving cars — to run into the people of interest that they encountered.
(…)
In conclusion: All of this pertains to the analysis of decision-making from an epistemological perspective. The human mind is a black box, and we attempt to reverse-assess its functioning by deciphering various intentional and unintentional “statements,” as well as actions or interactions. The challenges concerning this are, naturally, compounded in the case of a black box programmed by a black box.”
As the previous comment suggests, there are existentially thrilling and terrifying possibilities that arise when programming is carried out by an actor interested solely in maximizing military effectiveness, with minimal regard for humanitarian law. Or by an underinformed, underqualified actor.
It should be noted, however, that due to the specific characteristics of the battlefield in Ukraine, the environment there is in many places quite “permissive” for the autonomous use of weapons. It is possible to encounter only military targets in depths of up to 40–50 km in places. However, likewise in many areas even in Ukraine, the circumstances are not conducive to such operations, e.g., in combat in built-up terrain, where civilians are always present, even after months-long sieges. Clean targeting there would demand qualitatively different cognitive skills from the AI system being applied.
Another interesting aspect of these events is that Russian forces began deploying jamming-resistant fiber-optic drones in the spring of 2024, thereby temporarily gaining the upper hand over Ukraine in terms of drone use. On the Ukrainian side, the autonomous use of AI was one of the possible ways to neutralize Russian jamming and mitigate Russian drone superiority at the time — this likely explains the timing of the experiment. Meanwhile, the reason for the timing of the currently made revelations may be that — driven less by necessity and more by opportunity now — a significant expansion in the use of autonomous AI in combat is expected. What’s more, this is already part of Ukraine’s “logistical lockdown” campaign against Russian forces, which is making a mark on the process of the war as we speak, by successfully interdicting Russian supplies to the Crimea salient (for example, with AI serving terminal guidance onto moving targets at large distances, in a jamming-heavy environment).
Magyar nyelvű változatban:
Megjelent egy érdekes hír, miszerint Ukrajna által “először” került sor, egyébként még 2024 folyamán, autonóm üzemmódban halálos fegyverrendszerként kvadkopter drónok alkalmazására, mesterséges intelligenciás vezérléssel, úgy, hogy ennek ellenséges katonák estek áldozatul. Ez egy harctéri, éles kísérlet részeként történt. Bár az emberiség 99%-a csak szalagcímeket olvas, a mi olvasóink nem abból a 99%-ból kerülnek ki, úgyhogy alább korrigálunk gyorsan egypár dolgot, a múltat is felidézzük, aztán még néhány stratégiai megjegyzést is fűzünk mindehhez.
Ami a korrekciót illeti: mint azt a most idézett cikk is jelzi, már 2023 folyamán volt hasonló drónhasználat jármű-célpontok ellenében. Itt az a szóban forgó tényleges újdonság, hogy közvetlenül humán kombattánsokat is célba vettek a kérdéses rendszerek — miközben amúgy egy jármű belsejében 2023-ban is ugyanúgy meghalhattak katonák az akkori alkalmazás következményeként.
Közben pedig már 2020-ból, Líbiából is említhető egy figyelemre méltó eset, és itt hosszabban idézném egy másutt írt korábbi cikkemet, egyfelől a részletekért, másfelől bizonyos jól öregedett meglátások miatt.
“Ennek a líbiai konfliktusról szóló ENSZ-es szakértői jelentésnek a 17. oldalán szerepelnek az alábbiak:
„A logisztikai konvojokat és a Haftar vezetése alatt álló, visszavonuló erőket ezt követően felkutatták, és távirányítású légi járművekkel és halálos autonóm fegyverrendszerekkel, mint amilyen például az STM Kargu-2 (…), támadták. A halálos autonóm fegyverrendszereket úgy programozták, hogy a célpontokat a kezelő és a fegyver közötti adatkapcsolat nélkül is képesek legyenek támadni. Gyakorlatilag „tüzelj, feletsd el, a fegyver pedig önállóan célt talál” képességről van szó.”
(…)
Egyes szakértők (kiváló szakértők is, mint Ulrike Franke) kiakadtak, hogy ez nem is “autonóm” gyilkolászás — de igazából a science-fiction műfajban is gyakran előforduló értelmezési hiba áldozatai. Ahogyan a “lopakodó” szó jelentése sem az, hogy “láthatatlan”, úgy az “Autonomous” sem azt jelenti, hogy “Sentient”. Autonóm és döntéseket hoz, de nem öntudattal bíró. Az ilyen eszköz abban különbözik pl. a hosszú évtizedek óta használt infravörös vezérlésű légiharc-rakétától (mely maga is gyilkos robot, ha úgy tetszik, és korrigálja a röppályáját a célja kergetése közben), hogy ha elküldik, elmegy megkeresni a célpontját (vagy azt, ami eléggé annak tűnik). Az operátor nem fárad ezzel, kis habtestét nem mozgatja ennek érdekében. Ezt a feladatot a Kargu-2 olyan autonómiával végzi, ahogyan a Facebook-algó megpróbálja kitalálni, kitől akarsz híreket látni a newsfeededben. Vagy — még inkább — olyan, mint a spam-szűrő az e-mailezésben, amikor eldönti, hogy ez vagy az legitim üzenetként futott-e be.
(…)
Így néz ki a távirányító, lásd alább. A gombok értelmezéséhez: VUR = STRIKE (jobb felső sarok); iPTAL = ABORT (bal felső sarok). Miután a VUR-t az operátor megnyomta, adatkapcsolat kimaradása vagy megszűnése esetén a Kargu autonóm módon dönti el, hogy amit lát, az a beleprogramozott cél-e. Katona fegyverrel, vagy Józsi bácsi kapával. Az adatkapocs az operátortól 5-10 km távolságig él. Az indítás eleve történhet autonóm üzemmódban is, ahogyan a 2020. márciusi esetben állítólag történt, ahol (spekulálok) az önvezető autókétól kicsit eltérő parancs szerint az lehetett a Kargu-2-esek feladata, hogy ha “gyalogost” látnak, menjenek neki.
(…)
Konklúziónak: A döntéshozatal elemzését mindez episztemológiai szempontból érinti. Az emberi elme egy fekete doboz, és különféle szándékosan és akaratlanul tett “vallomásokból”, illetve cselekményekből vagy interakciókból visszafejtve próbáljuk megítélni a működését. A problémák a fekete doboz által programozott fekete doboz esetében hatványozottak.”
Mint az utóbbi megjegyzés utal rá, egzisztenciálisan elborzasztó lehetőségek adódnak abból, ha a programozást egy kizárólag a katonai hatékonyság maximalizálásában érdekelt, a humanitárius jog iránt minimálisan érdeklődő szereplő végzi. Vagy egy alulinformált, alulképzett szereplő.
Megjegyzendő közben, hogy az ukrajnai harctér sajátosságaiból következően ott sokfelé kifejezetten “megengedő” a környezet az autonóm fegyveralkalmazáshoz. Akár 40-50 km mélységben is lehetséges csak katonai célpontokkal találkozni. De ugyanúgy sokfelé ott sem megengedő a terep ilyen szempontból, pl. a felépített környezetben folyó harcokban, ahol mindig vannak hátramaradó civilek is, akár többhónapos ostromok után is. Az úgy minőségileg más kogníciós képességeket követel az alkalmazott mesterséges intelligenciától a tiszta, megbízható célba vétel érdekében.
Egy további érdekesség a történtekkel kapcsolatban, hogy az orosz erők 2024 tavaszán kezdték meg a zavarásbiztos száloptikás drónok alkalmazását, és ezzel ideiglenesen fölénybe kerültek a drónhasználat terén az ukrán féllel szemben. Az ukrán oldalon a mesterséges intelligencia autonóm alkalmazása jelentette szükségszerűen az egyik lehetséges módját az orosz zavarás semlegesítésének, és az orosz drónfölény enyhítésének — valószínűleg ez magyarázza a kísérlet akkori időzítését. A mostani híradás oka pedig talán az, hogy — immár kevésbé kényszerből mint a lehetőségből következően — jelentős bővülése várható a harcokban az autonóm mesterségesintelligencia-használatnak. Mi több, ez már most is része az Ukrajna által az orosz erők ellen jelenleg komoly sikerekkel folytatott “logisztikai lezáró” műveletnek, többek között a Krím-félszigethez vezető útvonalak mentén (például a végső célravezetésben, amikor nagy távolságra lévő, mozgó célpontokat kell eltalálni, intenzív zavarás mellett).