대규모 언어 모델(LLM)은 특정 작업에 맞는 추론 구조**를 스스로 구성하여 문제를 보다 효율적이고 효과적으로 해결할 수 있습니다. 이러한 자체 발견 프로세스를 통해 LLM은 관련 추론 모듈을 선택, 조정 및 구현하여 일관된 구조를 생성함으로써 모델에서 작업을 해결할 수 있도록 안내합니다. 발견된 추론 구조는 과제에 따라 다르며 최적화된 프롬프트보다 과제에 대한 LLM의 인사이트를 더 해석하기 쉽게 전달합니다. 이러한 자체 발견 프로세스는 인간이 문제 해결을 위해 추론 프로그램을 고안하는 방식에서 영감을 얻었습니다.
Large Language Models Self-Composite Reasoning Structures", 구성된 요약본은 다음과 같습니다:
자기 구성 추론 구조: 대규모 언어 모델(LLM)은 복잡한 문제나 내러티브를 해결하기 위해 추론 경로를 자율적으로 생성하고 개선하는 기능을 개발해 왔습니다.
자율성과 적응성: 보다 자율적이고 적응력이 뛰어나며 독립적으로 문제를 해결할 수 있는 AI 시스템으로 나아가는 중요한 진전을 의미합니다.
인간의 인지 과정 모방: 추론 구조를 스스로 구성하는 모델의 능력은 인간의 사고와 추론의 측면을 반영하며, 이는 인간의 인지 능력과 더 밀접하게 일치한다는 것을 시사합니다.
컴퓨팅 창의성에 대한 시사점: 이 개발은 AI가 독립적으로 혁신적인 솔루션이나 창의적인 결과물을 개발할 수 있는 컴퓨팅 창의성에 특히 영향을 미칩니다.
향상된 의사결정 시스템: 추론의 자율성은 인간이 직접 추론 과정을 구조화하지 않고도 AI가 복잡한 문제에 대한 새로운 솔루션을 생성할 수 있게 함으로써 의사결정 시스템에 혁신을 가져올 수 있습니다.
AI 개발의 미래: 이 글에서는 AI가 미리 정해진 문제를 해결하는 데 도움을 줄 뿐만 아니라 스스로 구성한 추론 구조를 통해 새로운 문제를 독립적으로 식별하고 해결하는 잠재적인 미래에 대해 강조합니다.
SELF-DISCOVER Framework
1단계: 셀프 디스커버리 작업별 구조
선택: 일련의 설명에서 관련 추론 모듈을 선택합니다
적응: 모듈 설명을 작업에 맞게 다시 표현합니다.
구현: 수정된 설명을 구조화된 계획으로 변환합니다.
2단계: 발견한 구조를 이용하여 문제 해결
발견된 구조를 사용하여 각 작업 인스턴스를 해결합니다.
모델에 구조를 따라 키-값 쌍을 채우도록 지시합니.
장:
성능 향상: 스스로 발견한 구조는 GPT-4 및 PaLM 2의 문제 해결 능력을 크게 향상시킵니다.
범용성: 한 모델에서 발견한 구조는 GPT-4에서 Llama2와 같은 다른 모델에 적용할 수 있습니다.
인간 추론과의 공통점: 이 구조는 인간의 추론 패턴과 유사점을 공유하여 과제별 문제 해결 전략을 개발하는 LLM의 능력을 보여줍니다.
Comments