Bombay (IIT Bombay)의 인도 기술 연구소 (Indian Technology Institute)의 연구원들은 기계가 일일 언어 지침을 사용하여 위성 및 무인 그림을 해석 할 수있는 인공 지능 모델 (AI)을 개발하여 재난, 도시 계획 및 농업에 대한 응용 프로그램을 잠재적으로 변형시킬 수 있습니다.
AMVG (Adaptive Modality, Visual Easion)라는이 모델은 IIT Bombay Resource Study Center의 Biplab Balerjee 교수가 수행 한 팀에 의해 설계되었습니다.
거실에있는 고양이의 예술은 인공 지능에 쉽지만 자연 언어 지침을 기반으로 한 복잡한 고해상도 위성 이미지의 디코딩은 오랫동안 도전적인 일이라고 말했다. IIT Bombay의 연구원. AMVG는 사용자가 “범람 한 강 근처의 손상된 건물을 찾는 것”과 같은 문의를 공급하고 수백 개의 복잡한 이미지에서도 몇 분 안에 목표 결과를받을 수 있도록 이러한 격차를 형성하는 것을 목표로합니다.
사진 및 원격 연구를위한 국제 사진 및 원격 센서 저널에 발표 된이 연구는 AMVG가 이미지를 더 빠르고 직관적이며 저렴한 대행사 및 연구원을 더 빠르고 직관적이며 저렴한 대행사를 분석 할 수 있다고 제안합니다.
Choudhury 부인은“원격 연구 이미지는 세부적이지만 자동 해석에는 매우 어렵습니다. 기존 모델은 모호성과 상황에 맞는 명령으로 싸우고 있습니다.
AMVG는 멀티 스테이지 토큰 화 코드 및 AL (Interelect inference)을 포함하여 혁신의 조합을 도입하여 모델이 상황에 맞는 이해를 기반으로 객체를보다 정확하게 식별하는 데 도움이됩니다. 특히 AAL은 “가상 트레이너”처럼 행동하여 명령을 해석 할 때 이미지의 관련 영역에 초점을 맞추도록 시스템을 가르칩니다. Choudhury는“남자가 “연료 탱크 옆에있는 흰색 트럭”을 읽을 때, 우리의 눈은 어디를 볼 곳을 알고있다.
팀은 광범위한 앱을 예측합니다. 재난에 대응하여 대행사는 홍수 또는 지진 후 손상된 인프라를 신속하게 찾을 수 있습니다. 안전기구는 민감한 지역 근처의 위장 된 차량을 식별 할 수있는 반면, 농민들은 단순히 서둘러 패치를 강조하도록 모델을 요청함으로써 작물의 건강을 모니터링 할 수 있습니다.
그러나 Banerjee 교수는 실제 세계의 재난 시나리오에서 AMVG가 아직 테스트되지 않았다고 설명했습니다. 말하기 힌두 인“우리는 예비 연구를 수행했지만 실제 재난 관리 데이터가 부족하여 완전한 평가를 수행 할 수 없었습니다. 그러한 데이터 세트를 만드는 것은 미래의 계획 중 하나입니다.”
팀에 따르면 AMVG는 여전히 종합적인 참고 연구이지만 복잡한 지형에서 손상된 건물, 숨겨진 차량 또는 작물 패턴을 감지 할 때 기존의 접근 방식을 능가합니다.
AMVG가 실시간 통찰력을 제공함으로써 홍수, 지진 또는 화재 중에 정부와 비정부기구를 도울 수 있는지 물었다. Banerjee 교수는 “안전하다. 이것은 우리가 상상하는 가장 강력한 사례 중 하나이다.”
연구원들은 또한 AMVG를 운영 적용으로 가져 오기 위해 협력을 조사합니다. Banerje 교수는“우리는 이미 비슷한 문제에 대해 ISRO와 협력하고있다. “ISRO와의 새로운 협력 라운드는 곧 시작될 것으로 예상되며 VID의 언어로 된 이러한 모델은 엄격하게 고려 될 것입니다.”
AMVG는 위성, 드론 및 항공기 기반 센서 사진에서 고무적인 결과를 보여주었습니다. 다음 단계의 연구에는 다양한 지리적 및 환경 시나리오에서 모델 배열이 포함되어 적응성을 평가합니다.
Tim Iit Bombay는 지형의 중요한 단계에서 Github에서 AMVG 구현을 열었습니다. Choudhury는“오픈 코스는 여전히 원거리 센서에서는 드문 일입니다. 우리는 투명성을 자극하고 진행을 가속화하고 싶었습니다.
이 모델은 약속을 보여 주지만 팀은 제한을 인정합니다. AMVG는 현재 고품질 데이터 세트에 의존하고 있으며 실시간 구현을위한 최적화가 필요합니다. 감각 버전 및 구성 접지 기술에 대한 작업이 진행 중입니다.
Choudhury 부인은“우리의 목표는 원격 민감도에 대한 독특한 이해 시스템을 구축하는 것입니다. 자연 언어를 사용하여 모든 그림을 접지하고 설명하고, 검색하고, 이유가있을 수 있습니다.
