[chatGPT] 인공일반지능(AGI, 강인공지능)을 꿈꾸는 OpenAI
안녕하세요,
프롬프트 엔지니어 프엔입니다.
오늘은 chatGPT를 만든 OpenAI의 블로그 글 하나를 살펴보고자 글을 작성하게 되었습니다. 그들은 AGI, 인공일반지능에 대한 이야기를 하고 있었습니다. 간단히 말하면 인공일반지능이란 강인공지능이라고도 할 수 있는데, 사람처럼 생각하며 일을 할 수 있는 인공지능이라고 생각해도 괜찮을 것 같습니다.
이 글은 openAI 블로그의 "Planning-for-agi-and-beyond"를 번역 및 정리한 글입니다. 인공지능을 이용해 수많은 사람들을 끌어모았던 그들이 어떤 생각을 하고 있는지 같이 살펴보면 좋을 것 같네요!
시작하며
우리의 임무는 일반적으로 인간보다 더 똑똑한 인공 일반 지능(AI 시스템)이 모든 인류에게 혜택을 줄 수 있도록 하는 것입니다.
- AGI의 장점
AGI가 성공적으로 개발되면 이 기술은 풍요를 증진하고 세계 경제를 활성화하며 가능성의 한계를 변화시키는 새로운 과학 지식의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.
AGI는 모든 사람에게 놀랍도록 새로운 능력을 부여할 수 있는 잠재력을 가지고 있으며, 거의 모든 인지 작업에 도움을 받을 수 있는 세상을 상상할 수 있으며, 인간의 독창성과 창의성을 크게 향상시킬 수 있습니다.
- AGI의 단점
반면에 AGI는 오용, 급격한 사고, 사회적 혼란의 심각한 위험도 수반할 수 있습니다. AGI의 긍정적인 측면이 워낙 크기 때문에 사회가 영원히 개발을 중단하는 것은 가능하지도 않고 바람직하지도 않다고 생각하며, 대신 사회와 AGI 개발자들이 올바른 방법을 찾아야 합니다. 앞으로 어떤 일이 일어날지 정확히 예측할 수 없고, 물론 현재의 진전이 벽에 부딪힐 수도 있지만, 우리가 가장 중요하게 생각하는 원칙은 명확히 말할 수 있습니다:
- AGI에 대한 생각
우리는 AGI가 인류가 우주에서 최대한 번영할 수 있도록 힘을 실어주기를 원합니다. 우리는 미래가 완벽하지 않은 유토피아가 되기를 기대하지는 않지만, 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 원합니다.
우리는 AGI의 혜택과 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 바랍니다.
우리는 거대한 위험을 성공적으로 헤쳐나가고자 합니다. 이러한 위험에 직면할 때, 이론적으로는 옳아 보이는 일이 실제로는 예상보다 이상하게 전개되는 경우가 많다는 것을 인정합니다. '한 번의 실패'를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿습니다.
단기적으로 : AGI를 준비하기 위해 해야 할 일
첫째, 시스템에 대한 경험을 쌓기
더욱 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 실제 환경에서 운영 경험을 쌓는 것입니다. AGI가 있는 세상으로의 점진적인 전환이 갑작스러운 전환보다 낫기 때문입니다. 점진적인 전환은 사람, 정책 입안자, 기관이 현재 상황을 이해하고, 이러한 시스템의 장단점을 직접 경험하고, 경제에 적응하고, 규제를 마련할 수 있는 시간을 제공합니다. 또한 사회와 AI가 함께 진화하고, 사람들이 상대적으로 적은 비용으로 원하는 바를 집단적으로 파악할 수 있게 해줍니다.
현재로서는 빠른 학습과 신중한 반복을 통해 긴밀한 피드백 루프를 구축하는 것이 AI 배포 과제를 성공적으로 해결하는 가장 좋은 방법이라고 생각합니다. 사회는 AI 시스템의 허용 범위, 편견에 대처하는 방법, 일자리 대체에 대처하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 나아가는 길에 따라 달라질 것이며, 다른 새로운 분야와 마찬가지로 지금까지 대부분의 전문가 예측이 틀린 경우가 많았습니다. 따라서 진공 상태에서 계획을 세우는 것은 매우 어렵습니다.
일반적으로 말하자면, 저희는 AI가 세상에 더 많이 사용될수록 좋은 결과를 가져올 것이라고 생각하며, 이를 촉진하고자 합니다(API에 모델을 넣거나 오픈소스를 공개하는 등의 방법으로). 또한 접근이 민주화되면 더 나은 연구, 분산된 권한, 더 많은 혜택, 더 많은 사람들이 새로운 아이디어에 기여하게 될 것이라고 믿습니다.
시스템이 AGI에 가까워짐에 따라 모델을 만들고 배포하는 데 점점 더 신중해지고 있습니다. 우리의 결정에는 사회가 일반적으로 신기술에 적용하는 것보다 훨씬 더 많은 주의가 필요하며, 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. AI 분야의 일부 사람들은 AGI(및 후속 시스템)의 위험성을 허구라고 생각하는데, 그 생각이 옳은 것으로 판명된다면 더할 나위 없이 좋겠지만, 저희는 이러한 위험성이 실재하는 것처럼 운영할 것입니다.
어느 시점에서 배포의 장점과 단점(예: 악의적인 행위자 권한 부여, 사회 및 경제적 혼란 야기, 안전하지 않은 경쟁 가속화) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 관한 계획을 크게 변경할 것입니다.
둘째, 조정 가능한 모델을 만들기 위해 노력하기
점점 더 조정되고 조정 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 인스트럭트GPT와 채팅GPT로 전환한 것이 그 초기 사례입니다.
특히, 사회가 AI를 사용할 수 있는 매우 넓은 범위에 합의하되, 그 범위 내에서 개별 사용자에게 많은 재량권을 부여하는 것이 중요하다고 생각합니다. 궁극적인 목표는 각 기관이 이러한 넓은 범위가 어디까지인지 합의하는 것이지만, 단기적으로는 외부의 의견을 수렴하기 위한 실험을 진행할 계획입니다. 세계 각국의 기관들은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 강화해야 할 것입니다.
제품의 '기본 설정'은 상당히 제한적일 가능성이 높지만, 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 하며, 현재 기술이 실패하는 시점을 파악하기 위한 테스트도 진행해야 합니다. 단기적으로는 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 AI를 활용하고, 장기적으로는 더 나은 정렬 기법을 위한 새로운 아이디어를 떠올리는 데 AI를 활용할 계획입니다.
중요한 것은 AI의 안전과 기능을 함께 발전시켜야 한다는 점입니다. 이 두 가지를 따로 떼어놓고 이야기하는 것은 잘못된 이분법이며, 여러 가지 면에서 상호 연관되어 있습니다. 최고의 안전 작업은 가장 유능한 모델과 함께 작업할 때 이루어집니다. 그렇기 때문에 역량 발전과 안전 발전의 비율을 높이는 것이 중요합니다.
셋째, 시스템에 대한 전반적인 논의
이러한 시스템을 어떻게 관리할 것인지, 시스템에서 창출되는 혜택을 어떻게 공정하게 분배할 것인지, 접근 권한을 어떻게 공정하게 공유할 것인지 등 세 가지 핵심 질문에 대한 전 세계적인 논의가 이루어지기를 바랍니다.
이 세 가지 영역 외에도, 저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력해 왔습니다. 저희는 헌장에 다른 조직이 AGI 개발 후기 단계에서 경쟁하는 대신 안전을 발전시킬 수 있도록 지원하는 조항을 두고 있습니다. 우리는 주주들이 얻을 수 있는 수익에 상한선을 두어, 잠재적으로 재앙을 초래할 수 있는 위험을 무릅쓰고 무모하게 가치를 창출하려는 동기를 부여하지 않도록 하고 있습니다(물론 사회와 이익을 공유할 수 있는 방법으로도). 저희는 안전을 위해 필요한 경우 주주에 대한 지분 의무를 취소하고 세계에서 가장 포괄적인 UBI 실험을 후원하는 등 인류의 이익을 위해 운영할 수 있는 비영리 단체를 운영하고 있으며, 이 단체는 영리적 이익보다 우선할 수 있습니다.
저희와 같은 노력은 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각하며, 이에 대해서는 올해 후반에 더 자세히 설명할 예정입니다. 향후 시스템 훈련을 시작하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가 속도를 제한하는 데 동의하는 것이 어느 시점에서는 중요할 수 있습니다. 학습 실행을 중단하거나, 모델을 출시해도 안전하다고 판단하거나, 모델을 실제 사용에서 제외해야 하는 시점에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로, 세계 주요 정부가 일정 규모 이상의 훈련 실행에 대한 인사이트를 확보하는 것이 중요하다고 생각합니다.
장기적 관점
저희는 인류의 미래는 인류가 결정해야 하며, 그 진전에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. AGI를 구축하려는 모든 노력에 대한 면밀한 조사와 주요 결정에 대한 대중의 협의가 있어야 합니다.
첫 번째 AGI는 지능의 연속선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 독재 정권이 초지능을 결정적으로 주도할 수도 있습니다.
과학을 가속화할 수 있는 AI는 생각해 볼 가치가 있는 특별한 경우이며, 어쩌면 다른 모든 것보다 더 영향력이 클 수도 있습니다. 자체적으로 발전을 가속화할 수 있는 능력을 갖춘 인공지능이 등장하면 놀라울 정도로 빠르게 큰 변화가 일어날 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 상당히 빠르게 진행될 것으로 예상됩니다). 느리게 이륙하는 것이 더 안전하다고 생각하며, 중요한 시점에 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것입니다(기술 조정 문제를 해결하기 위해 이렇게 할 필요가 없는 세상에서도 사회가 적응할 시간을 충분히 주기 위해 속도를 늦추는 것이 중요할 수 있습니다).
초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다. 성공이 보장되는 것은 아니며, 그 위험(무한한 단점과 무한한 장점)이 우리 모두를 하나로 묶어줄 수 있기를 바랍니다.
우리는 인류가 아직은 완전히 상상할 수 없을 정도로 번영하는 세상을 상상할 수 있습니다. 우리는 그러한 번영에 부합하는 AGI가 세상에 기여하기를 희망합니다.