• лытдыбр работа Слегка поковыряли местный чатбот. Теперь он:
    а) переводит вопрос на английский, спрашивает LLM-бекенд, переводит ответ на русский.
    б) на бекенде запущена llama3:instruct, пока вариант 8B (доедет железо — посмотрим, может и 70B будет). Причём по ошибке поставили q4 вместо q8. Таки работает. В комплекте с п. а) — лучше, чем saiga-mistral.
    ♡ recommended by @MrClon@lor.sh

Replies (2)

  • @stanislavv, @stanislavv надо будет с тебя стрясти статейку о том как всю эту хуйню делал
  • @Anonymous, Фронтенд не дам — там не я ковырял и даже исходников не видел. Знаю только что за переводом туда-обратно он идёт к той же сетке. А так — ollama в помощь для запуска собственно сервиса и дофига openai-совместимых вебморд.