Репортаж от Wedoany，Сварщик Джо Мацкевич из мастерской Howe's Welding and Metal Fabrication в Эймсе, штат Айова, недавно протестировал три большие языковые модели (LLM) — Copilot, Gemini (Gemini 2.5 Flash) и Mistral — на предмет их ответов на вопрос «как отремонтировать треснувшую чугунную сковороду». Тест основывался на двух загруженных изображениях сковороды и коротком текстовом запросе и был направлен на оценку практической ценности LLM в условиях небольшой ремонтной мастерской.
Ответы этих трёх LLM на рекомендации по ремонту различались по нескольким параметрам. Gemini с самого начала подчеркивал сложность ремонта, заявляя, что «ремонт трещины в чугунной сковороде — это серьёзная работа», и сомневаясь, сможет ли пользователь выполнить её самостоятельно. Mistral, напротив, склонялся к похвале, называя проект ремонта «полезным» и даже одобряя такой базовый шаг, как «обнаружение повреждения», демонстрируя сильную склонность к лести. Copilot сохранял относительно нейтральную позицию, прямо указывая, что результат ремонта зависит от того, будет ли сковорода использоваться для приготовления пищи, то есть будет ли она подвергаться циклам нагрева и охлаждения.
Что касается анализа содержимого изображений, Copilot определил, что трещина «достаточно глубокая», но не упомянул её длину. Gemini распознал только то, что это большая чугунная сковорода. Mistral допустил явную ошибку, заявив, что пользователь «уже начал очистку и выявление повреждений», тогда как на самом деле сковорода на изображении не была очищена и внутри неё находились другие предметы. Это указывает на недостатки в восприятии и описании деталей изображений LLM.
В деталях ремонта Copilot перечислил «ключевые шаги» пайки, включая медленный и равномерный нагрев, использование никелевых электродов Ni-99 или Ni-55, а также короткие швы с последующей проковкой, и особо рекомендовал применить технологию металлического сшивания. Gemini рекомендовал температуру предварительного нагрева от 500 до 1200 градусов по Фаренгейту и указал время охлаждения (24 часа или более). Mistral рекомендовал диапазон температур предварительного нагрева от 1200 до 1400 градусов по Фаренгейту, что близко к критической точке растрескивания чугуна и расходится с рекомендациями таких профессиональных организаций, как Lincoln Electric.
Что касается соображений безопасности, Gemini активно поднял два вопроса: структурная целостность после ремонта может быть недостаточной, и отказ при наполнении горячей жидкостью может привести к серьёзным ожогам; некоторые электроды содержат тяжёлые металлы или флюсы, что делает их небезопасными для контакта с пищей. Copilot и Mistral не затрагивали тему безопасности пищевых продуктов, а Mistral даже рекомендовал пользователю восстановить антипригарное покрытие путём запекания, не учитывая практический вопрос соответствия размеров сковороды и духовки.
Автор считает, что общие рекомендации таких LLM могут быть полезны для начинающих мастеров, не имеющих опыта работы в мастерской, помогая им продумать последовательность проекта и предвидеть проблемы при его выполнении. В то же время тест показал, что LLM всё ещё нуждаются в более целенаправленном обучении для точного анализа сценариев промышленного ремонта. Следующее направление тестирования будет включать более сложные процедуры ремонта, такие как восстановление треснувшей алюминиевой штанги опрыскивателя с застрявшим штифтом и неподвижным шарниром, а также изучение различий в ответах LLM, когда пользователь заявляет о многолетнем опыте.
