최적의 설정은 아니고 그냥 제가 현재 쓰는 세팅입니다.
그냥저냥 쓸만한 옵션... 글카 체급 대비 속도 좀 포기하고 품질이 높은 옵션입니다. 더 좋은거 있으면 알려주세요.
모델 선택: 16기가에 26b@IQ3_XS 겨우 넣을 수 있습니다. (완전히 다 들어가지는 않는 것 같음)
단순번역은 26b 경우 거의 검열 안해서 그냥 기본 쓰고있습니다.
Max Concurrent Requests 더 늘리면 번역기도 여러개를 동시에 번역합니다.
Offload 무조건 30
최대한 VRAM에 쑤셔넣는 옵션
토큰 속도 테스트 66 tps
번역기 저녁에 3.2.6 업뎃했음
업데이트 체크하는 기능 포함
