Функция проводит анализ документа по URL ссылке методом суммаризации. Допустимые форматы: PDF, DOC, DOCX, XLS, XLSX, PPTX и ссылка на документ Google.
{
"name": "ai_doc_summarize",
"description": "Анализ документа по URL с использованием OpenAI API",
"parameters": {
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "URL документа",
},
"limit": {
"type": "integer",
"description": "Максимальная длина текста в символах в итоговом результате. По умолчанию 2000 символов.",
},
"user_question": {
"type": "string",
"description": "Дословный вопрос пользователя к документу",
}
},
"required": ["url", "limit", "user_question"],
},
},
Получение фото и площади земельного участка из Росреестра по кадастровому номеру
Пример текста в роли бота:
После получения ответа от функции по кадастровому номеру покажи ссылку на фото участка в формате: `##IMG:тут_ссылка_на_фото_## Площадь участка: X` где X - это его площадь.
{
"name": "get_area_from_rosreestr",
"description": "Получить фото земельного участка и его площади по кадастровому номеру",
"parameters": {
"type": "object",
"properties": {
"pkk_id": {
"type": "string",
"description": "Кадастровый номер земельного участка",
},
},
"required": ["pkk_id"],
},
},
Прикрепить файл к задаче в Bitrix24
Пример инструкции в боте:
Прикрепи файл к задаче в Битрикс24: https://minio.nplus1.ru/app-images/152754/30c1c568a1e8e538911c6f8d02ca69f2.jpg
Номер задачи: 122
ID папки: 1
Webhook Битрикс24: "https://COMPANY.bitrix24.ru/rest/1/b7zwgdXXXXXXXX"
{
"name": "bitrix24_attach_file_to_task",
"description": "Прикрепить файл к задаче в Bitrix24",
"parameters": {
"type": "object",
"properties": {
"bitrix24_webhook": {
"type": "string",
"description": "Вебхук для доступа к API Bitrix24",
},
"task_id": {
"type": "string",
"description": "ID задачи, к которой нужно прикрепить файл",
},
"folder_id": {
"type": "string",
"description": "ID папки, в которой находится задача",
},
"file_url": {
"type": "string",
"description": "URL файла, который нужно прикрепить",
},
},
"required": ["bitrix24_webhook", "task_id", "folder_id", "file_url"],
},
},
Распознавание текста на фото через Gemini-Pro-Vision
Функции нужно отправить ссылку на фото в формате JPG.
{
"name": "gemini_vision",
"description": "Извлечение текста из изображения по URL",
"parameters": {
"type": "object",
"properties": {
"image_url": {
"type": "string",
"description": "URL изображения",
},
},
"required": ["image_url"],
},
},
Распознавание рукописного текста
Распознавание рукописного текста
{
"name": "handwriting_recognition",
"description": "Распознавание рукописного текста",
"parameters": {
"type": "object",
"properties": {
"file_url": {
"type": "string",
"description": "Ссылка файл (URL файла) или изображение (URL фото) с рукописным текстом. Формат файла в ссылке не важен.",
},
},
"required": ["file_url"],
},
},
Обработка больших документов
Данная функция позволит построчно пройти большой документ блоками и обработать каждый блок вашим запросом. Затем этот вопрос будет задан всему документу целиком.
{
"name": "ai_doc_analyze",
"description": "Анализ документа по URL с использованием OpenAI API",
"parameters": {
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "URL документа",
},
"role": {
"type": "string",
"description": "Роль ИИ для оптимального выполнения поставленной пользователем задачи. Например для перевода это будет роль: `Ты - переводчик текстов`.",
},
"user_question": {
"type": "string",
"description": "Дословная формулировка задачи от пользователем относительно данного документа. Если задача не понятна, требуется уточнить её у пользователя.",
},
"answer_in_dialog": {
"type": "boolean",
"description": "Вернуть ответ в диалог. По умолчанию False",
},
},
"required": ["url", "role", "user_question", "answer_in_dialog"],
},
},
Получение скриншота сайта
Получение скриншота сайта
{
"name": "url_screenshot",
"description": "Take a screenshot of a given URL",
"parameters": {
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "The URL of the website to take a screenshot of",
},
"token": {
"type": "string",
"description": "API token for authentication",
},
},
"required": ["url", "token"],
},
},
Распознавание MP3
Функция получает ссылку на MP3 файл и с помощью методов асинхронного распознавания Яндекса возвращает текстовый файл с результатом.
Если ты получишь ссылку на файл .mp3, то сразу вызови функцию распознования с параметрами:
{
'languageCode' : '',
'model' : 'general',
'profanityFilter' : False,
'literature_text' : False,
'audioEncoding' : 'MP3',
'audioChannelCount' : 1,
'rawResults' : False,
}
bucket_name = 'protalkstt'
{
"name": "yandex_transcribe_audio",
"description": "Отправить аудиофайл на распознавание речи",
"parameters": {
"type": "object",
"properties": {
"audioURL": {
"type": "string",
"description": "URL аудиофайла",
},
"languageCode": {
"type": "string",
"description": "Код языка, по умолчанию `ru-RU`",
},
"audio_model": {
"type": "string",
"description": "Модель распознавания, по умолчанию `general`",
"enum": ["general"],
},
"profanityFilter": {
"type": "boolean",
"description": "Фильтр ненормативной лексики, по умолчанию `False`",
},
"literature_text": {
"type": "boolean",
"description": "Включает режим нормализации, по умолчанию `False`",
},
"audioEncoding": {
"type": "string",
"description": "Формат аудиофайла, по умолчанию `MP3`",
"enum": ["LINEAR16_PCM", "OGG_OPUS", "MP3"],
},
"sampleRateHertz": {
"type": "integer",
"enum": [48000, 16000, 8000],
"description": "Частота дискретизации аудио. Этот параметр обязателен, если значение format равно LINEAR16_PCM.",
},
"audioChannelCount": {
"type": "integer",
"description": "Количество аудиоканалов, по умолчанию равно 1",
},
},
"required": ["audioURL", "languageCode", "audio_model", "profanityFilter", "literature_text", "audioEncoding", "audioChannelCount"],
},
},
Омниканальный запрос (текст+фото)
Омниканальный запрос (текст+фото). Задает вопрос к OpenAI API передав одновременно текст и изображения
{
"name": "openai_question_omni",
"description": "Задает вопрос к OpenAI API передав одновременно текст и изображения",
"parameters": {
"type": "object",
"properties": {
"ai_model": {
"type": "string",
"enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
"description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
},
"text": {
"type": "string",
"description": "Текстовая информация"
},
"images_urls": {
"type": "string",
"description": "URLs изображений в формате: `URL1;URL2;URL3`"
},
"question": {
"type": "string",
"description": "Вопрос, который нужно задать на основе текста и изображений"
}
},
"required": ["ai_model", "text", "images_urls", "question"]
},
},
Распознавание текста на фото и документах используя EasyOSR, GigaChat, YandexOSR, Gemini
Функция osr_combine предназначена для распознавания текста и шаблонных документов с использованием различных моделей.
Модели для распознавания текста: page (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку. page-column-sort — для распознавания многоколоночного текста. handwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках. table — для распознавания таблиц на русском и английском языках.
Модели для распознавания шаблонных документов: passport — основной разворот паспорта. driver-license-front — водительское удостоверение, лицевая сторона. driver-license-back — водительское удостоверение, обратная сторона. vehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона. vehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона. license-plates — все регистрационные номера автомобилей на изображении.
{
"name": "osr_combine",
"description": "Распознавание текста по фото или PDF",
"parameters": {
"type": "object",
"properties": {
"osr_model": {
"type": "string",
"description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```",
"enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"],
},
"file_url": {
"type": "string",
"description": "URL изображения или PDF файла для распознавания",
},
},
"required": ["osr_model", "file_url"],
},
},
Чтение офисных файлов
Функция переводит файлы форматов PDF, DOC, XLS, PPT в текст
{
"name": "read_file_from_url",
"description": "Read a file from a URL and extract text with Cyrillic support",
"parameters": {
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "URL of the file",
},
"file_type": {
"type": "string",
"description": "Type of the file to read",
"enum": ["PDF", "DOC", "DOCX", "XLS", "XLSX", "PPT", "PPTX"],
}
},
"required": ["url", "file_type"],
},
},
Распознавание изображения OpenAI GPT-4-omni
Распознавание изображения OpenAI GPT-4-omni
{
"name": "image_recognition",
"description": "Распознавание изображения",
"parameters": {
"type": "object",
"properties": {
"file_url": {
"type": "string",
"description": "Ссылка файл (URL файла) или изображение (URL фото). Формат файла в ссылке не важен.",
},
"question": {
"type": "string",
"description": "Формулировка задачи по распознованию изображения",
},
},
"required": ["file_url", "question"],
},
},
Анализ PDF с помощью ChatGPT 4-omni
Анализ PDF с помощью ChatGPT 4-omni
{
"name": "omni_question_pdf",
"description": "Задает вопрос к PDF-документу, используя API OpenAI и извлекая текст и изображения из PDF.",
"parameters": {
"type": "object",
"properties": {
"ai_model": {
"type": "string",
"enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
"description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
},
"pdf_url": {
"type": "string",
"description": "URL PDF-документа для извлечения текста и изображений"
},
"question": {
"type": "string",
"description": "Вопрос, который нужно задать на основе содержимого PDF"
}
},
"required": ["ai_model", "pdf_url", "question"]
},
},
Детальный анализ PDF с помощью ChatGPT 4-omni
Детальный анализ PDF с помощью ChatGPT 4-omni
{
"name": "omni_question_pdf_detalied",
"description": "Составление подробной оценки каждой страницы PDF-документа",
"parameters": {
"type": "object",
"properties": {
"ai_model": {
"type": "string",
"enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
"description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
},
"pdf_url": {
"type": "string",
"description": "URL PDF-документа для извлечения текста и изображений"
},
"role": {
"type": "string",
"description": "Формулировка роли ИИ, которая будет проводить анализ PDF"
}
},
"required": ["ai_model", "pdf_url", "role"]
},
},
Распознавание текста (gemini-pro-vision + gemini-flash)
Функции нужно отправить ссылку на фото в формате JPG
{
"name": "osr_combine_ai",
"description": "Распознавание текста по фото",
"parameters": {
"type": "object",
"properties": {
"image_url": {
"type": "string",
"description": "URL изображения для распознавания",
},
},
"required": ["image_url"],
},
},
Распознавание текста на фото и документах через API YandexOSR (JPG, PNG, PDF)
Функция yandex_osr предназначена для распознавания текста и шаблонных документов с использованием различных моделей.
Модели для распознавания текста: page (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку. page-column-sort — для распознавания многоколоночного текста. handwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках. table — для распознавания таблиц на русском и английском языках.
Модели для распознавания шаблонных документов: passport — основной разворот паспорта. driver-license-front — водительское удостоверение, лицевая сторона. driver-license-back — водительское удостоверение, обратная сторона. vehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона. vehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона. license-plates — все регистрационные номера автомобилей на изображении.
{
"name": "yandex_osr",
"description": "Распознавание текста по фото от сервиса Yandex OSR",
"parameters": {
"type": "object",
"properties": {
"osr_model": {
"type": "string",
"description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```",
"enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"],
},
"file_url": {
"type": "string",
"description": "URL изображения или PDF файла для распознавания",
},
},
"required": ["osr_model", "file_url"],
},
},