Skip to content

Inference Server 에 Sampling parameter 적용 이슈 #25

@WagyuShark

Description

@WagyuShark
  • 현재 OpenAILike 을 통해 LLM 추론서버를 사용중
  • Sampling parameter를 요청마다 변경해서 적용할 수 없음
  • llama Index에서 매 추론 요청마다 Sampling parameter를 포함할 수 있게 하는 함수를 찾아 수정해야함

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions