서빙

Weave op과 모델을 API endpoints로 노출해 프로덕션에서 예측을 서빙하고 Inference를 실행할 수 있습니다.

임의의 Weave Model을 가리키는 Weave ref가 있으면 다음을 실행할 수 있습니다:

weave serve <ref>

해당 모델용 FastAPI 서버를 실행합니다. 모델을 대화형으로 쿼리하려면 http://0.0.0.0:9996/docs로 이동하세요.

FastAPI 설치

pip install fastapi uvicorn

모델 서빙

터미널에서 다음을 실행합니다:

weave serve <your model ref>

UI에서 모델로 이동해 모델 ref를 복사하세요. 형식은 다음과 같습니다: weave://your_entity/project-name/YourModel:<hash>

사용하려면 Swagger UI 링크로 이동한 다음 predict endpoint를 클릭하고 “Try it out!”을 클릭하세요.