LLM 로깅 — 프롬프트·응답 추적

LLM 애플리케이션을 운영할 땐 프롬프트·응답·지연·토큰 사용 같은 정보를 남겨야 "왜 이 응답이 나왔는지" 되짚어볼 수 있어요. 네튠은 이런 LLM 메타데이터를 런에 로깅하는 걸 도와줘요.

출처: https://docs.neptune.ai/logging/methods

로깅의 기본 개념

네튠의 로깅은 네임스페이스 기반이에요. metrics/loss처럼 점(.)으로 계층을 만들면 폴더 구조로 정리됩니다. 값의 종류에 따라 여러 메서드를 씁니다.

컨피그(단일 값): run.log_configs(...)
시리즈(스텝별 메트릭): run.log_metrics(...)
파일·이미지·모델: 전용 로깅 메서드(예: 파일 업로드)

통합 로거 사용

PyTorch Lightning 같은 프레임워크는 전용 통합 로거(NeptuneLogger)를 제공해요. Trainer에 로거를 꽂으면 메트릭·하이퍼파라미터·모델 체크포인트를 자동으로 기록합니다.

from lightning.pytorch.loggers import NeptuneLogger
import neptune

neptune_logger = NeptuneLogger(
    project="common/pytorch-lightning-integration",
    tags=["training", "resnet"],
)
trainer = Trainer(max_epochs=10, logger=neptune_logger)

체크포인트는 model/checkpoints 네임스페이스에 자동 업로드되고, log_model_checkpoints=False로 끌 수 있어요.

더 알아보기

https://docs.neptune.ai/logging/methods — 로깅 메서드 전체
https://docs.neptune.ai/api/neptune/ — init_run 파라미터