본문 바로가기

분류 전체보기

AI-ML/LLM 2025. 11. 4. LLM은 왜 환각((Hallucinate)) 증상에 빠질까? OpenAI와 Georgia Tech의 연구원들은 대규모 언어 모델의 환각이 완벽한 데이터에서도 사전 훈련에서 발생하는 본질적인 통계적 오류임을 입증했습니다. 그들의 분석에 따르면, 지나친 확신을 가진 거짓 정보의 지속은 주로 불확실성 표현에 불이익을 주는 현재의 평가 벤치마크에 의해 주도되며, 이는 명시적인 확신 목표를 통한 평가 개혁 제안으로 이어집니다.목차언어 모델의 환각 이해환각의 통계적 본질사전 훈련 오류의 원인평가 문제보정 분석사회-기술적 해결책시사점 및 향후 방향관련 인용언어 모델의 환각 이해언어 모델은 놀라운 능력을 달성했지만, 그럴듯하지만 틀린 진술을 계속 생성합니다. 이는 환각(hallucination)으로 알려진 현상입니다. OpenAI와 조지아 테크 연구자들이 발표한 이 논문은 이러..
AI-ML/LLM 2025. 11. 4. EntropyLong: 예측 불확실성을 통한 효과적인 장문맥 훈련 https://www.arxiv.org/abs/2510.02330 EntropyLong: Effective Long-Context Training via Predictive UncertaintyTraining long-context language models to capture long-range dependencies requires specialized data construction. Current approaches, such as generic text concatenation or heuristic-based variants, frequently fail to guarantee genuine long-range dependenciearxiv.orgEntropyLong은 예측 불확실성을 활용하..
AI-ML/LLM 2025. 11. 4. 언어 모델은 단사적이며 따라서 가역적이다 목차서론이론적 프레임워크 및 수학적 기초최신 모델 전반에 걸친 경험적 검증SIPIT 알고리즘: 단사성의 실현AI 안전 및 프라이버시에 대한 시사점향후 방향 및 한계결론관련 인용서론대규모 언어 모델(LLM)의 광범위한 배포는 트랜스포머 아키텍처가 본질적으로 손실이 있다는 근본적인 가정 위에 구축되었습니다. 이는 서로 다른 입력 시퀀스가 동일한 내부 표현으로 매핑될 수 있다는 의미입니다. 이러한 직관은 비선형 활성화 함수(GELU, ReLU), 정규화 계층(LayerNorm), 그리고 정보를 압축하는 것처럼 보이는 다대일 어텐션 메커니즘을 포함하는 트랜스포머의 복잡한 아키텍처에서 비롯됩니다. 그러나 Nikolaou 등(Nikolaou et al.)의 새로운 논문은 엄격한 수학적 분석과 광범위한 경험적 검증을..
AI-ML/LLM 2025. 10. 11. 논문 요약해서 읽어보기(feat. LLM) https://arxiv.org/html/2510.08338v1 논문 읽기의미론적 유사성 평점을 활용한 대규모 언어 모델의 인간 구매 의도 재현에 대한 심층 분석요약본 보고서는 대규모 언어 모델(LLM)을 활용하여 소비자 설문조사를 시뮬레이션할 때 발생하는 핵심적인 문제점을 해결하기 위한 새로운 방법론을 제시한 연구 논문 "LLMs Reproduce Human Purchase Intent via Semantic Similarity" (arXiv:2510.08338v1)를 심층적으로 분석한다. 기존 소비자 연구는 막대한 비용과 패널 편향, 제한된 규모 등의 한계를 지니고 있으며, 이에 대한 대안으로 LLM을 활용한 '합성 소비자(synthetic consumers)' 시뮬레이션이 주목받고 있다. 하지만 L..
AI-ML/LLM 2025. 10. 6. LLM 평가의 4가지 주요 접근법 이해하기 https://magazine.sebastianraschka.com/p/llm-evaluation-4-approaches 번역입니다!LLM을 실제로 어떻게 평가할까?간단한 질문이지만, 훨씬 더 큰 논의를 불러일으키는 경향이 있습니다. 프로젝트 자문이나 협업 시 가장 자주 받는 질문 중 하나는 다양한 모델 간 선택 방법과 공개된 평가 결과를 해석하는 방법입니다. (물론 자체 모델을 튜닝하거나 개발할 때 진척도를 측정하는 방법도 포함됩니다.) 이 질문이 자주 제기되기에, 사람들이 LLM을 비교하는 데 사용하는 주요 평가 방법에 대한 간략한 개요를 공유하면 도움이 될 것 같습니다. 물론 LLM 평가는 단일 자료로 완전히 다루기에는 너무 방대한 주제이지만, 이러한 주요 접근법을 명확히 이해하면 벤치마크, 리더보..
AI-ML/LLM 2025. 10. 5. 논문 읽어보기 - Learning to Reason as Action Abstractions with Scalable Mid-Training RL https://arxiv.org/html/2509.25810v1 논문 읽기Learning to Reason as Action Abstractions with Scalable Mid-Training RL: 종합 분석1. 논문의 취지 (Research Purpose/Motivation)본 논문은 대규모 언어 모델(LLM)의 성능을 극대화하기 위한 mid-training 단계의 이론적 기반을 최초로 제시하고자 한다. 현재 LLM 훈련은 pre-training, mid-training, post-training RL의 3단계 파이프라인으로 이루어지는데, mid-training은 경험적으로 효과적임이 입증되었지만 그 작동 원리와 post-training RL에 미치는 영향이 이론적으로 명확히 규명되지 않았다는 문..
AI-ML/Vibes Coding 2025. 8. 21. Augmented Coding: Beyond the Vibes https://tidyfirst.substack.com/p/augmented-coding-beyond-the-vibes by Kent Beck최근에 야심찬 프로젝트인 BPlusTree3 라이브러리 개발을 위해 증강 코딩을 활용하는 과정에서 좋은 중단점을 찾았습니다. 그 결과물은 BPlusTree3 - Rust와 Python으로 구현된 성능 경쟁력 있는, 아마도 생산 환경에 적용 가능한 구현체입니다. 친구와 함께 앉아 이 과정을 이야기하고, 이 경험이 GenAI 시대의 프로그래밍 미래에 대해 무엇을 시사하는지 반추해 보았습니다.처음에 BPlusTree3를 구현하게 된 계기는 무엇인가요?증강 코딩의 놀라운 힘을 깨닫기 시작하면서 기술적으로 불가능했던 과거의 프로젝트를 떠올리기 시작했습니다. 그 중 하나가 특..
AI-ML/LLM 2025. 8. 21. GPT-OSS 시각화 https://newsletter.languagemodels.co/p/the-illustrated-gpt-oss 번역글 입니다.OpenAI의 GPT-OSS 공개는 6년 전 GPT-2 이후로 주요 오픈소스 LLM 공개입니다. 이 기간 동안 LLM의 성능은 급속히 발전했습니다. 그러나 이 모델 자체는 DeepSeek, Qwen, Kimi 등 기존 오픈소스 모델과 비교해 성능 면에서 획기적인 개선을 보여주지는 않습니다. 그럼에도 불구하고, 이 모델은 이 기간 동안 LLM이 어떻게 변화했는지 재검토하는 좋은 기회를 제공합니다.이전 오픈소스 GPT 모델과의 차이점GPT-OSS는 이전 모델들과 마찬가지로 자동 회귀형 트랜스포머(autoregressive Transformer)로, 한 번에 하나의 토큰을 생성합니다...

티스토리툴바