AI & Data
LLM의 신뢰도 95%, 자동 발송 기준으로 쓰기 전에
LLM이 적은 신뢰도 점수를 자동 응답 기준으로 쓰려면 보정뿐 아니라 이관 대상을 고르는 능력도 확인해야 한다. 정답 라벨의 품질과 자동 발송 집단의 표본 검수, 오류율·처리량·검토 비용을 연결해 적용 조건을 살펴본다.
THE BUILDER’S NOTE
Engineering.
01 / INSIDE THE BUILD만들며 배우고, 배운 것을 나눕니다.
더 나은 제품을 향한 개발의 기록.
찾고 있던 이야기
작은 발견부터 깊이 있는 고민까지.
카테고리AI & Data
필터 초기화AI & Data
Stagehand v4가 줄인 것은 모델이 아니라 브라우저 왕복이다
Stagehand v4는 브라우저 옆 확장 런타임과 명령 일괄 처리로 에이전트 자동화의 왕복 비용을 줄인다. 성능 주장보다 Playwright와의 기능 차이, 모델 호출 경계, 도입 전 측정할 조건을 중심으로 살펴본다.
AI & Data
시간 순서를 지키는 평가, 다음 실험으로 이어지는 회고
미래 값을 예측하는 문제를 무작위로 나누면 미래 정보가 과거의 학습에 섞일 수 있다. 결론보다 남은 질문를 중심으로 작은 예제와 확인 기준을 정리합니다.
AI & Data
사용자 단위로 데이터를 분리하기, 다음 실험으로 이어지는 회고
같은 사용자의 기록이 학습과 평가에 나뉘어 있으면 새 사용자에 대한 성능을 과대평가할 수 있다. 결론보다 남은 질문를 중심으로 작은 예제와 확인 기준을 정리합니다.
AI & Data
분류 임계값을 별도로 선택하기, 다음 실험으로 이어지는 회고
같은 확률 예측이라도 어디서 양성으로 판단할지에 따라 서비스 동작이 달라진다. 결론보다 남은 질문를 중심으로 작은 예제와 확인 기준을 정리합니다.
AI & Data
정밀도와 재현율의 질문, 다음 실험으로 이어지는 회고
모델을 개선했다는 말이 어떤 종류의 실수를 줄였다는 뜻인지 분명하지 않을 수 있다. 결론보다 남은 질문를 중심으로 작은 예제와 확인 기준을 정리합니다.