Weave for Agents는 공개 프리뷰 상태입니다. 정식 출시 전에 특성, API 및 Agents 뷰 UI가 변경될 수 있습니다.
시작하기
- https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
- 탭 바에서 시그널를 선택하세요.
주요 용어
- 턴: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
- 평점: 일치하는 span에 부여되는 0.0~1.0 사이의 숫자 점수입니다.
- 태그: “user-frustration” 또는 “nsfw”처럼 일치하는 span에 부여되는 라벨입니다.
시그널 테이블
시간 범위 선택기와 Filter 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. Score volume 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.
새 시그널 만들기
Scorer 유형
- 평점: 일치하는 각 span에 0과 1 사이의 점수를 부여합니다.
- 태그: 일치하는 각 span에 최대 10개의 태그를 부여합니다. 시그널 UI는 태그가 하나 이상 일치한 span의 행만 표시하므로, 출력이 보이지 않더라도 태그 Scorer가 성공적으로 실행되었을 수 있습니다.
일치하는 턴에만 점수 매기기
Agent name, Operation name, Tool name 또는 Request model에 해당하는 턴만 점수 매기도록 설정할 수 있습니다. Weave는 여러 필터를 AND 논리로 결합합니다. 모든 턴에 점수를 매기려면 필터 행 끝의 x를 선택해 해당 필터를 제거하세요.
프롬프트 템플릿
{input_messages}, {output_messages}, {system_instructions}와 같은 템플릿 변수를 치환합니다.
평점 템플릿
Scorer 이름
고급 설정
- Inference 모델: 점수화에 사용할 LLM입니다. 사용 가능한 경우 Serverless Inference를 기본값으로 사용하는 것이 좋습니다.
- 샘플 비율: 트래픽이 많은 에이전트의 경우 모든 턴이 아니라 일부 턴만 점수화하도록 샘플 비율을 설정해 비용을 줄이세요.