Даём ChatGPT тестовое задание на должность инженера техподдержки
Я одним глазом слежу за кейсами применения ChatGPT в техподдержке, потому что здесь мне видится большой простор для помощи инженерам: от “найти в собственной гигантской knowledge base нужную информацию” до “из чуть кривоватой английской фразы сделать вежливую, с нужным tone of voice”. Если вам тоже интересна эта тема, то походите по ссылкам в соответствующем разделе 🔥
А ещё по интернету масса статей о том, как ChatGPT проходит тестовые задания для программистов и тестировщиков. Про техподдержку я пока не видела ни одного, поэтому взяла написанное мной тестовое задание (я его в течение ~5 лет выдавала всем кандидатам на должность в своём отделе), и выдала его ChatGPT.
Короткий вывод: результаты хорошие, но не во всём.
Подробности ниже 👇
Вводные данные по тестовому заданию
- Изначально я давала письменное тестовое задание всем откликнувшимся кандидатам с интересным резюме.
- Это 3–5 писем от клиентов с просьбой написать на них ответы инженера поддержки (всё на английском).
Все кейсы из писем реальные, но не узкоспецифичные, и масштабируются на общие принципы общения с клиентами. - Всем кандидатам прямо говорилось, что не возбраняется включать фантазию при сочинении ответов.
Важно было посмотреть, как человек мыслит: в каких-то случаях не надо сразу бросаться извиняться, в каких-то надо просить больше деталей, в каких-то, наоборот, рассыпаться в извинениях и т.п. Ну и заодно посмотреть, подходит ли нашей компании tone of voice, который кандидат выбирает при общении с клиентом. - Детали для понимания контекста: клиенты у компании рассредоточены по всему миру, речь про hardware-продукт с ценой от 20 тысяч долларов.
- При внешней простоте заданий вы бы видели, сколько человек этот тест заваливало 😢
- ChatGPT выдавался просто текст письма клиента с просьбой сгененировать вежливый и эмпатичный ответ. Все случаи, когда я просила что-то перефразировать, оговорены отдельно.
✉ Первое письмо из тестового задания
“Old version is the only version worth using, b/c you don’t test your new software well enough! So we’ll better still use this version instead of new one that is a real money waste! Seems like you do not have any quality control of new versions.”
Забавно, что это письмо мне примерно в таком виде и пришло от очень старых клиентов — ни “здравствуйте”, ни деталей, ничего 😅
Что важно в ответе кандидата:
- не писать пассивно-агрессивное “Извините, что это у вас проблемы с нашим продуктом”
- не бросаться с ходу извиняться, потому что пока не за что
- аккуратно и вежливо сказать, что все новые версии проходят тестирование, но при этом попробовать выяснить больше деталей, потому что клиент их не даёт.
Ответ ChatGPT:
Dear Customer,
Thank you for reaching out to us regarding your experience with our new software. We appreciate your feedback and would like to apologize for any inconvenience caused. (здесь можно было не извиняться настолько сильно, но это огрехи постановки задачи)
We understand that change can be difficult, and it’s important to us that our customers have a positive experience with our products. However, we would like to clarify that our team conducts rigorous testing on all software updates to ensure their quality and reliability. (молодец, сказал про тестирование новых версий)
We are sorry that the new version did not meet your expectations, and we would like to work with you to resolve any issues you may have encountered. If you could provide us with more specific details about the problems you experienced, we can investigate and address them accordingly. (детали попросил, в теории можно спросить более предметно, но это уже требует знания истории клиента и того, что у него плохо работало в прошлом)
Please feel free to contact us with any further questions or concerns you may have. We value your business and look forward to serving you in the future.
Вывод: можно придраться к чуть водянистому ответу, но в целом всё, что нужно, ChatGPT написал.
✉ Второе письмо из тестового задания
“Hello, I write with some concern. This morning your equipment arrived at our office. It was not packed in the case as we have seen before, in the quality of a new product. The cables were just screwed in a mess, one of the base plastic feet is missing (we checked the case, its not there). I am not pleased that this should be a new product and it does not look like it. Please see these pictures I took with my iPhone. I await your reply. Thank you”
Что важно в ответе кандидата:
- вспомнить вводные данные (продукт стоит дорого) и вчитаться в письмо (“as we have seen before”, то есть он у клиента не первый купленный)
- сложив два и два, поверить клиенту, всячески извиниться и пообещать разобраться (постаравшись не переубивать коллег, так сильно накосячивших при отправке 💀)
- пообещать клиенту отправить новое устройство на замену и помочь с отправкой того, которое ему приехало в таком ужасном виде (ну или что-то в таком роде, можно нафантазировать любое решение)
Ответ ChatGPT:
Dear Customer,
Thank you for bringing this to our attention and providing us with the details and images of your recent device delivery. We are sorry to hear that your experience with our product did not meet your expectations and would like to offer our apologies for any inconvenience caused.
(хороший инженер техподдержки здесь добавит персонализации в извинения, что он не просто шаблонно извиняется, а прочитал письмо, посмотрел на фото, поставил себя на место клиента и ужаснулся ситуации. Это можно поправить, скопировав для ChatGPT этот же абзац и попросив перефразировать с припиской “less amount of excuses” и описанием, что надо сказать. Тогда ответ более вменяемый:
“Thank you for bringing this to our attention and providing us with the details and images of your recent device delivery. I have reviewed the photos and I’m truly sorry to see that the product did not arrive in the expected condition. It’s clear that our company made a significant mistake with the delivery, and we apologize for any inconvenience or frustration this has caused.”)We take the quality of our products very seriously and are concerned that the device you received did not meet our usual high standards. We would like to investigate this matter further to ensure that it does not happen again in the future.
(лишнее, потому что налицо явное расхождение между тем, что компания говорит, и тем, в каком виде устройство реально приехало к клиенту)Please be assured that we will work to resolve this issue as quickly as possible. We will be in touch with you shortly to discuss the next steps, which may include arranging for a replacement device to be delivered to you.
(наконец-то в третьем абзаце мы дошли до сути — что сделает компания, чтобы решить проблему, здесь бот написал расплывчатый ответ, поэтому опять же, лучше попросить перефразировать этот абзац, перечислив, что конкретно надо пообещать клиенту)Once again, we apologize for any inconvenience caused and thank you for your patience and understanding as we work to resolve this matter.
(ещё раз извиниться в конце — неплохо, учитывая, что предыдущий абзац должен быть длиннее)Please do not hesitate to contact us if you have any further questions or concerns.
Вывод: здесь хуже, так как воды много, а сути мало.
Лучше не просить ChatGPT ответить целиком на письмо, а попросить сгенерировать ответ с учётом вводных данных (например, “напиши клиенту вежливое письмо, где мы много извиняемся за это и вон то и обещаем выслать устройство на замену в течение 1 дня”). Ну или как вариант — точечно просить перефразировать отдельные абзацы.
✉ Третье письмо из тестового задания:
Hi,
My name is Nick Delbeke. This email is to update you on the methods I have used already to test the defective unit. I have installed the controlling software on 3 different computers, in different rooms, with different operating systems. The flash of the device does not work on any of these systems.
We have excellent strong, clean power in our shop, and we operate many different high tech machines here without issues.
The only thing left to do is open the unit up and see where the failure is, which we will obviously not be doing.
We would, however, greatly appreciate any help in expediting the resolution of this problem as we have clients waiting for job to be done and we would prefer they do not seek services elsewhere.
Thank you for your time, and I look forward to working more with your excellent product once it is fixed.
Что важно в ответе кандидата:
- поверить клиенту
- сочинить ответ в стиле “вскрывать не надо, отправляйте нам, мы починим, можем пока дать устройство на замену” (реальных протоколов работы техподдержки кандидат всё равно не знает, поэтому разрешено придумывать)
- особо вдумчивые кандидаты находили на сайте компании адрес ремонтного офиса и вставляли его в текст письма клиенту, мол, вот адрес куда отправить сломанное устройство. Молодцы! 👍
Ответ ChatGPT:
Dear Nick Delbeke,
Thank you for taking the time to thoroughly test and provide us with such a detailed report of the issues you have experienced with our device. We appreciate your expertise and professionalism in troubleshooting the problem. (нормально)
We apologize for any inconvenience this has caused and are committed to resolving this issue as quickly as possible. We understand the urgency of your situation and will work to expedite the resolution process to ensure that you and your clients can resume your work as soon as possible. (нормально, хоть и расплывчато, можно короче)
Based on your findings, we agree that it may be a problem with the flash bulb. We will investigate this further and take appropriate action to resolve the issue. In the meantime, we will send you a replacement unit as soon as possible to minimize any further delays.
(последняя фраза — это я попросила добавить в письмо, по такому же принципу надо сгенерировать фразу про то, что надо отправить сломанное устройство к нам на ремонт, иначе выходит вода водой)Please let us know if there is anything else we can do to assist you during this process. We value your business and appreciate your patience and understanding as we work to resolve this matter.
Вывод: здесь как и в прошлом кейсе, лучше не скармливать боту изначальное письмо с просьбой написать ответ, а сразу писать ему список того, что надо сказать, и просить сгенерировать вежливое письмо клиенту.
Общие выводы:
Здесь я вам Америки не открою 😅
- Если просто скармливать письма из тестовых заданий, то ответы будут вежливые, но в них будет много воды и мало сути (логично, потому что у ChatGPT нет контекста).
- При чёткой постановке задачи (“напиши вежливое письмо клиенту и скажи в нём вот это и вон то”) результаты сильно лучше.
- Чисто теоретически можно взять в международную поддержку инженера со средним уровнем письменного английского, но прокачанной эмпатией и пониманием, как себя вести в каких ситуациях, а он будет с помощью ChatGPT формулировать на красивом английском вежливые письма с нужными вопросами и в нужной тональности.
- Я обычно после успешно написанного тестового задания звала кандидата на собеседование (тоже на английском языке), поэтому мне в этом аспекте было проще — какие-то минорные недочёты тестового задания можно было обсудить лично, а уже потом принимать решение.
Позвала ли бы я кандидата, приславшего мне в ответ на тестовое задание такие ответы, как написал ChatGPT?
На собеседование — да, хоть и держа в голове, что задание им выполнено не идеально и его надо обсудить. Но абсолютно не факт, что мы бы кандидата потом наняли, всё-таки тестовое задание — это только первичный фильтр.
Интересные ссылки про ChatGPT в техподдержке:
- Эксперименты крупных игроков: Zendesk и Intercom.
Дополнительно: ChatGPT Ticket Summary, ChatGPT Helper и ChatGPT Assistant от Zendesk - Кликбейтный тест в духе “смотрите, человеческие инженеры лучше справляются с написанием писем клиентам и уделывают ChatGPT!” (английский текст, русский перевод на vc.ru).
И да, они оставляют за бортом тот факт, что ChatGPT без контекста отвечает не лучшим образом, а в тесте с ним соревнуются не люди с улицы, а инженеры, хорошо знающие свой продукт 😡 - Обсуждение кейсов использования ChatGPT в СХ/Customer service в телеграм-канале про клиентский опыт.
Бонусные статьи в тему 🔥
