AI는 수십 년치 위성사진에서 실제 땅의 변화를 찾아낼 수 있을까?
숲이 줄었는지, 도시가 어디까지 넓어졌는지 알고 싶다면 오래된 지도와 현재 지도를 비교할 수 있다. 하지만 지역이 넓고 살펴볼 기간이 수십 년이라면 사람이 사진을 한 장씩 들여다보는 것만으로는 감당하기 어렵다. 위성사진과 AI가 매력적인 이유다. 하늘에서 반복해서 관측한 자료를 AI가 정리하고, 질문에 맞춰 분석하고, 변화가 나타난 곳을 찾아준다면 사람은 더 넓은 지역을 살필 수 있을 것이다.
그때 중요한 질문이 생긴다. AI가 위성 자료를 읽고 그럴듯한 답을 냈다면, 그 답은 실제 땅에서 일어난 변화를 가리키는 걸까? 아니면 사진의 차이나 관측 자료의 변화를 땅의 변화로 받아들인 걸까? 환경과 토지 이용에 관한 판단은 바로 이 구분에 달려 있다. 분석 보고서가 완성됐다는 사실만으로는 보고서가 무엇을 포착했는지 알 수 없다.
11월 6일 제출된 EarthRecord 논문은 이 질문을 시험하는 평가 도구를 제안한다. 확인할 수 있는 논문 초록에 따르면, 연구진은 여러 위성의 원자료를 주고 AI가 토지 변화 질문에 답하도록 한 뒤, 위성 기록을 없애거나 한 위성의 자료를 바꿨을 때 답이 어떻게 달라지는지도 살폈다.
결과는 두 능력이 다르다는 점을 보여 준다. 평가에 참여한 12개 AI 에이전트 가운데 선도적인 시스템들은 대부분의 분석을 처음부터 끝까지 수행했다. 그러나 이미지를 바탕으로 지도화, 즉 이미지에서 얻은 정보를 지도로 나타내야 하는 답을 요구받았을 때는 어려움을 겪었다. 또 지상은 그대로 둔 채 한 위성의 자료만 바꾸는 시험에서는 AI가 내놓은 맞는 답 중 절반이 바뀐 자료 쪽으로 달라졌다. 객관적인 정답 기준이 바뀌었다는 뜻이 아니라, 지상은 그대로인데 AI의 답이 자료의 조작을 따라 움직였다는 뜻이다. 적어도 이 시험에서는 자료를 다뤄 답을 완성하는 일과 자료의 교란을 넘어 실제 변화를 짚는 일이 같지 않았다.
사진이 달라진 것과 땅이 달라진 것
서로 다른 시기에 찍은 위성사진을 비교한다고 생각해 보자. 사진에서 어떤 곳의 색이나 모양이 달라졌다면 지상에서 무언가 바뀌었을 가능성이 있다. 그러나 이미지에 보이는 차이를 곧바로 토지 변화라고 부를 수는 없다. 관측하는 시점이나 조건이 달라질 수 있고, 사진을 찍는 기기가 다르면 같은 곳을 기록하는 방식도 같지 않을 수 있기 때문이다.
구름은 이런 문제를 이해하기 쉬운 예다. 구름에 가린 부분은 지표면이 어떻게 보이는지 그대로 비교할 수 없다. 분석에서 구름을 가려 내거나 제외하지 않으면, 땅을 보아야 할 자리에 구름이 끼어든다. 서로 다른 위성의 관측을 이어 붙일 때도 주의가 필요하다. 관측 기기의 차이를 고려하지 않으면, 자료에서 나타난 차이가 실제 지상의 차이인지를 판단하기 어려워진다.
이것은 AI만의 문제가 아니다. 누가 분석하든 사진을 통해 땅을 관찰할 때는 이미지와 관찰 대상 사이의 간격을 다뤄야 한다. 다만 AI가 여러 단계의 작업을 자동으로 끝내면, 독자는 중간에 어떤 자료를 골랐고 어떤 차이를 지상의 변화로 해석했는지 보기 어려울 수 있다. 답이 유창하거나 분석 절차가 길다는 이유로 그 간격이 사라지지는 않는다.
일반적으로 어떤 지역의 토지 변화가 궁금하다는 질문에는 단순히 ‘변화가 있었다’고 답하는 것만으로 부족할 수 있다. 변화가 어디에 나타났는지 알아야 할 수도 있다. 이미지에서 장소에 관한 정보를 읽어 지도에 나타내는 일은 일반적인 설명을 만드는 것과 다르다. AI는 질문에 관련된 지식을 말할 수 있지만, 지도를 만들려면 주어진 이미지의 정보와 실제 장소를 연결해야 한다. 이런 차이를 생각하면 이미지 기반 지도화에서 어려움을 보였다는 연구 결과가 왜 중요한지 이해할 수 있다. 다만 초록은 그 어려움을 변화 위치를 직접 찾는 특정 문제 유형으로 한정해 설명하지는 않는다.
연구진은 무엇을 AI에게 맡겼나
EarthRecord는 위성사진을 이용한 토지 변화 분석을 시험하기 위한 벤치마크, 즉 공통의 문제와 평가 기준을 갖춘 시험대다. 연구진은 기존 평가가 선별된 이미지에 질문을 던지거나 이미 전처리된 자료를 제공하는 경우가 많아, 실제 분석이 시작되는 여러 위성의 원자료를 충분히 다루지 못한다고 설명한다.
연구진이 만든 시험에는 56개 지역의 위성 기록이 들어간다. 자료는 랜드샛, MODIS, VIIRS, 센티널-2라는 네 종류의 위성 관측 자료를 포함하며 전체 기록은 약 40년에 걸친다. 이 표현이 네 위성 각각이 똑같은 기간을 관측했다는 뜻은 아니다. 핵심은 여러 관측 기록을 오랜 기간에 걸쳐 활용하도록 했다는 점이다.
시험에 참여한 AI는 이미 분석하기 좋게 정리된 사진만 받는 것이 아니다. 구름이 가린 곳을 처리하는 일과 서로 다른 센서의 자료를 비교할 수 있도록 조정하는 일도 에이전트에 맡겨진다. 여기서 에이전트는 질문에 답하기 위해 도구를 사용하고 여러 작업 단계를 수행하는 AI 시스템을 뜻한다. 논문이 평가한 멀티모달 에이전트는 글뿐 아니라 이미지 같은 여러 형태의 정보를 다룰 수 있는 시스템이다.
이 설정은 답의 정확도만 보려는 것이 아니다. 위성 기록에서 출발해 분석을 마치는 과정 자체를 시험에 포함한다. 사람에게 최종적으로 필요한 것은 토지 변화에 관한 답이지만, 그 답에 이르는 길에는 자료를 고르고 처리하는 작업이 있다. 이미 손질된 이미지만 놓고 시험하면 AI가 그 앞단의 작업을 얼마나 해낼 수 있는지는 알기 어렵다.
시험 문제는 10개 분석 과제에 걸친 238개 질문으로 구성됐다. 연구진은 답을 평가할 때 따로 보관한 전 지구 자료의 참조값, 여러 분석 방법이 서로 일치하는 정도, 이미지를 보고 해석한 결과를 활용했다고 밝혔다. 세 가지를 언급했다는 사실은 중요하다. 위성사진에서 얻은 답을 단일한 숫자 하나와만 대조했다고 단정할 수 없기 때문이다.
동시에 초록만으로는 각 질문에 어떤 기준을 얼마나 적용했는지, 참조값이 구체적으로 어떻게 만들어졌는지까지 알 수 없다. 여러 방법이 일치한다는 것도 그 자체로 완벽한 보증은 아니다. 방법들이 같은 자료나 비슷한 가정에 기대면 공통의 한계를 공유할 가능성을 살펴야 한다. 이런 점은 평가 기준을 읽을 때 필요한 일반적인 질문이지, 이 연구의 방법들이 실제로 같은 오류를 냈다는 뜻은 아니다.
자료를 빼고, 한쪽 자료를 바꿔 보는 이유
이 연구의 특징은 AI에게 문제를 풀게 한 뒤 답만 채점하는 데서 그치지 않는다는 점이다. 연구진은 답이 무엇에 기대고 있는지 살펴보기 위해 두 가지 대조 시험을 설계했다. 대조 시험은 조건을 바꿨을 때 결과가 어떻게 달라지는지 비교하는 방식이다.
첫째는 위성 기록을 제공하지 않는 시험이다. 어떤 지역에 대한 질문에 AI가 답할 때, 주어진 위성 기록을 분석한 것인지 아니면 이미 갖고 있던 일반 지식에 기대는 것인지 구분할 필요가 있다. 기록이 없어도 비슷한 답을 할 수 있다면, 기록을 받았을 때의 답 역시 실제로 그 자료를 살펴 얻은 것인지 더 따져 볼 이유가 생긴다. 반대로 자료를 줬을 때 답이 달라지는지는 자료가 답에 영향을 미치는지 살피는 단서가 된다.
기존 지식을 사용하는 것 자체가 언제나 잘못은 아니다. 질문의 배경을 이해하는 데 도움이 될 수도 있다. 그러나 특정 지역의 특정 변화가 위성 기록에서 확인됐다고 주장하려면, 일반적으로 그럴 법한 설명을 하는 것과 주어진 기록에서 근거를 찾는 일을 구분해야 한다. 기록 없이 말한 답이 우연히 맞더라도, 그것만으로 위성 자료를 분석했다고 할 수는 없다.
둘째는 지상에는 변화가 없도록 두고 한 위성의 자료만 바꾸는 시험이다. 여기서 연구진이 보고 싶은 것은 AI가 실제 땅의 상태가 아니라 바뀐 자료에 끌려가는지 여부다. 여러 위성 기록을 함께 다룬다고 해도, 어느 한 자료의 변화가 답을 움직일 수 있다면 그 답이 지상의 변화를 얼마나 잘 반영하는지 다시 살펴봐야 한다.
두 시험은 서로 다른 질문을 던진다. 자료를 빼는 시험은 ‘AI가 자료에 기대고 있는가’를 살핀다. 한 위성 자료를 바꾸는 시험은 한 걸음 더 나아가 ‘자료에 기대는 방식이 실제 지상의 변화를 가리키는 데 적절한가’를 묻는다. AI가 기록을 전혀 사용하지 않는 것도 문제지만, 기록의 교란까지 실제 변화처럼 받아들이는 것도 별개의 문제다.
초록은 이 대조 시험들의 세부 절차를 충분히 설명하지 않는다. 어떤 값을 어떤 방식으로 바꿨는지, 각각의 사례에서 AI가 어떤 중간 작업을 했는지는 확보된 내용만으로 판단할 수 없다. 따라서 이 시험을 모든 종류의 위성 오류를 재현한 실험으로 받아들이거나, 특정한 오류의 원인을 찾아냈다고 해석해서는 안 된다.
분석을 끝냈다는 결과와 정답이 흔들렸다는 결과
연구진은 12개 멀티모달 에이전트를 평가했다. 초록에 따르면 선도적인 에이전트들은 대부분의 분석을 처음부터 끝까지 완료했다. 원자료를 다루는 작업까지 포함한 시험에서 분석을 완수했다는 것은 적어도 시스템이 복수의 단계를 이어 수행할 수 있는지를 보여 주는 결과다.
하지만 완료와 정확성은 다른 기준이다. 분석이 끝났다는 말은 문제에 답하기까지의 작업이 수행됐다는 뜻이지, 모든 질문에서 실제 변화를 올바르게 찾아냈다는 뜻이 아니다. 연구진은 이미지로부터 지도화해야 하는 답을 요구할 때 에이전트들이 어려움을 겪었다고 적었다. 자료를 처리하고 결과를 제출하는 능력과 이미지의 정보를 지도에 나타내는 능력이 함께 움직인다고 가정할 수 없는 것이다.
자료 조작 시험의 결과도 따로 읽어야 한다. 연구진은 한 위성의 자료를 바꿨을 때 맞는 답의 절반이 그 조작을 따라갔다고 보고했다. 다시 말해 AI가 내놓은 맞는 답 가운데 절반이 지상은 그대로인데 바뀐 위성 자료 쪽으로 달라졌다. 초록의 표현을 넘어 어떤 모델이 몇 개의 문제에서 어떻게 답을 바꿨는지, 정확한 집계 조건이 무엇인지는 알 수 없다. 분명한 것은 이 수치가 지상 변화는 그대로 둔 채 한 위성 자료를 조작한 시험에 관한 것이라는 점이다.
그러므로 ‘AI의 위성 분석은 절반이 틀린다’고 말하면 시험의 범위를 벗어난다. 238개 전체 질문의 오류율이나 모든 에이전트의 현실 분석 실패율로 바꿔 읽을 수도 없다. 반대로 실험 조건이 특정돼 있으니 무시해도 된다는 뜻도 아니다. 이 대조 시험은 적어도 일부 맞는 답이 실제 땅의 상태와 무관하게 바뀐 자료를 따라 움직일 수 있음을 보여 준다. 독자가 우려해야 할 지점은 정확히 그 차이다.
연구진은 추가 분석에서 위성 기록이 답을 기존 지식에서 이미지의 화소 쪽으로 옮겨 놓았지만, 아직 지상에서 실제 일어난 변화까지 제대로 연결하지는 못했다고 해석한다. 화소는 디지털 이미지를 이루는 작은 점이다. 이 문장을 풀면, AI가 주어진 이미지를 반영하기 시작했다는 것과 그 이미지에서 지상의 사실을 신뢰할 만하게 알아냈다는 것은 서로 다른 단계라는 뜻이다.
독자는 자동 분석의 무엇을 확인해야 하나
AI가 위성 자료로 내놓은 결과를 접할 때 첫 질문은 ‘분석을 했는가’다. 실제 기록을 제공받았는지, 아니면 지역에 관한 기존 지식을 바탕으로 설명한 것인지가 다르다. 하지만 자료를 사용했다는 답만으로 질문은 끝나지 않는다. 자료를 어떤 조건에서 관측했는지, 서로 다른 기록을 어떻게 비교했는지, 이미지의 차이를 지상의 변화로 판단할 근거가 무엇인지가 뒤따라야 한다.
다음으로는 결과의 형태를 볼 필요가 있다. 전체적인 변화 방향을 설명하는 것과 이미지의 정보를 지도로 나타내는 것은 요구되는 판단이 다르다. EarthRecord 초록은 후자의 답이 필요할 때 어려움을 보고한다. 일반적으로 토지 변화가 어느 장소에 관한 주장인지 확인해야 한다면, 그 위치를 자료에서 어떻게 확인했는지도 함께 살필 필요가 있다. 다만 초록만으로는 시험에 나온 지도화 문제가 각각 어떤 답을 요구했는지까지 알 수 없다.
비교 기준도 묻는 편이 좋다. 다른 자료나 방법과 대조했는가, 사람이 이미지를 해석한 결과와 비교했는가, 자료가 달라졌을 때 답이 얼마나 흔들리는가. 이런 질문은 복잡한 알고리즘의 내부를 알아야만 할 수 있는 질문이 아니다. 결론이 실제 관측에 근거하는지, 다른 설명을 얼마나 배제했는지 이해하기 위한 질문이다. 다만 어떤 보고서가 이런 비교를 제시하더라도, 비교에 쓴 자료와 방법이 무엇인지까지 알아야 그 의미를 판단할 수 있다.
EarthRecord의 초록만으로는 실제 환경 감시나 정책 결정에서 이 에이전트들이 어느 정도 성능을 낼지 알 수 없다. 특정 지역에서 숲이나 도시가 어떻게 바뀌었는지도 이 결과만으로 판정할 수 없다. 이 연구가 제공하는 것은 하나의 시험대에서 관찰한 능력과 취약점이지, 현실의 모든 분석에 대한 보증서나 일괄적인 실패 판정이 아니다.
그럼에도 이 시험이 던지는 질문은 현실의 독자에게 유용하다. AI가 방대한 위성 기록을 처리해 답을 완성하는 일은 출발점이다. 그 답을 지상의 변화에 관한 근거로 받아들이려면, 자료를 썼는지뿐 아니라 자료의 변화와 땅의 변화를 구별했는지도 확인해야 한다. 수십 년치 사진을 다뤘다는 규모보다 중요한 것은, 그 사진에서 무엇을 실제로 알아냈는가다.