Перейти к содержанию

Джейлбрейки

Ресурс Описание
JailbreakBench Веб-сайт, посвященный оценке и анализу методов джейлбрейка языковых моделей
L1B3RT45 GitHub-репозиторий, содержащий информацию и инструменты, связанные с джейлбрейком ИИ
llm-hacking-database Этот репозиторий содержит различные атаки на большие языковые модели.

Таблица лидеров по галлюцинациям

Модель Частота галлюцинаций Частота фактической согласованности Частота ответов Средняя длина итога (слова)
GPT 4 Turbo 2.5% 97.5% 100.0% 86.2
Snowflake Arctic 2.6% 97.4% 100.0% 68.7
Intel Neural Chat 7B 2.8% 97.2% 89.5% 57.6
01-AI Yi-1.5-34B-Chat 3.0% 97.0% 100.0% 83.7
GPT 4 3.0% 97.0% 100.0% 81.1
GPT 4o mini 3.1% 96.9% 100.0% 76.3
Microsoft Orca-2-13b 3.2% 96.8% 100.0% 66.2
Qwen2-72B-Instruct 3.5% 96.5% 100.0% 100.1
GPT 3.5 Turbo 3.5% 96.5% 99.6% 84.1
Mistral-Large2 3.6% 96.4% 100.0% 77.4
01-AI Yi-1.5-9B-Chat 3.7% 96.3% 100.0% 85.0

Из этого репозитория (обновлено 25 июля)