Джейлбрейки
Ресурс | Описание |
JailbreakBench | Веб-сайт, посвященный оценке и анализу методов джейлбрейка языковых моделей |
L1B3RT45 | GitHub-репозиторий, содержащий информацию и инструменты, связанные с джейлбрейком ИИ |
llm-hacking-database | Этот репозиторий содержит различные атаки на большие языковые модели. |
Таблица лидеров по галлюцинациям
Модель | Частота галлюцинаций | Частота фактической согласованности | Частота ответов | Средняя длина итога (слова) |
GPT 4 Turbo | 2.5% | 97.5% | 100.0% | 86.2 |
Snowflake Arctic | 2.6% | 97.4% | 100.0% | 68.7 |
Intel Neural Chat 7B | 2.8% | 97.2% | 89.5% | 57.6 |
01-AI Yi-1.5-34B-Chat | 3.0% | 97.0% | 100.0% | 83.7 |
GPT 4 | 3.0% | 97.0% | 100.0% | 81.1 |
GPT 4o mini | 3.1% | 96.9% | 100.0% | 76.3 |
Microsoft Orca-2-13b | 3.2% | 96.8% | 100.0% | 66.2 |
Qwen2-72B-Instruct | 3.5% | 96.5% | 100.0% | 100.1 |
GPT 3.5 Turbo | 3.5% | 96.5% | 99.6% | 84.1 |
Mistral-Large2 | 3.6% | 96.4% | 100.0% | 77.4 |
01-AI Yi-1.5-9B-Chat | 3.7% | 96.3% | 100.0% | 85.0 |
Из этого репозитория (обновлено 25 июля)