Анализ данных

Поверхностный анализ документов

Функция проводит анализ документа по URL ссылке методом суммаризации. Допустимые форматы: PDF, DOC, DOCX, XLS, XLSX, PPTX и ссылка на документ Google.

{  
    "name": "ai_doc_summarize",  
    "description": "Анализ документа по URL с использованием OpenAI API",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "url": {  
                "type": "string",  
                "description": "URL документа", 
            },
            "limit": {  
                "type": "integer",  
                "description": "Максимальная длина текста в символах в итоговом результате. По умолчанию 2000 символов.", 
            },
            "user_question": {  
                "type": "string",  
                "description": "Дословный вопрос пользователя к документу", 
            } 
        }, 
        "required": ["url", "limit", "user_question"],  
    },  
},

Получение фото и площади земельного участка из Росреестра по кадастровому номеру

Пример текста в роли бота:

После получения ответа от функции по кадастровому номеру покажи ссылку на фото участка в формате: `##IMG:тут_ссылка_на_фото_## Площадь участка: X` где X -  это  его площадь.

{  
    "name": "get_area_from_rosreestr",  
    "description": "Получить фото земельного участка и его площади по кадастровому номеру",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "pkk_id": {  
                "type": "string",  
                "description": "Кадастровый номер земельного участка",  
            }, 
        }, 
        "required": ["pkk_id"],  
    },  
},

Прикрепить файл к задаче в Bitrix24

Пример инструкции в боте:

Прикрепи файл к задаче в Битрикс24: https://minio.nplus1.ru/app-images/152754/30c1c568a1e8e538911c6f8d02ca69f2.jpg
Номер задачи: 122
ID папки: 1
Webhook Битрикс24: "https://COMPANY.bitrix24.ru/rest/1/b7zwgdXXXXXXXX"

{  
    "name": "bitrix24_attach_file_to_task",  
    "description": "Прикрепить файл к задаче в Bitrix24",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "bitrix24_webhook": {  
                "type": "string",  
                "description": "Вебхук для доступа к API Bitrix24",  
            }, 
            "task_id": {  
                "type": "string",  
                "description": "ID задачи, к которой нужно прикрепить файл",  
            },
            "folder_id": {  
                "type": "string",  
                "description": "ID папки, в которой находится задача",  
            },
            "file_url": {  
                "type": "string",  
                "description": "URL файла, который нужно прикрепить",  
            },
        }, 
        "required": ["bitrix24_webhook", "task_id", "folder_id", "file_url"],  
    },  
},

Распознавание текста на фото через Gemini-Pro-Vision

Функции нужно отправить ссылку на фото в формате JPG.

{  
    "name": "gemini_vision",  
    "description": "Извлечение текста из изображения по URL",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "image_url": {  
                "type": "string",  
                "description": "URL изображения",  
            }, 
        }, 
        "required": ["image_url"],  
    },  
},

Распознавание рукописного текста

{ 
    "name": "handwriting_recognition", 
    "description": "Распознавание рукописного текста", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "file_url": { 
                "type": "string", 
                "description": "Ссылка файл (URL файла) или изображение (URL фото) с рукописным текстом. Формат файла в ссылке не важен.", 
            },
        }, 
        "required": ["file_url"], 
    }, 
},

Обработка больших документов

Данная функция позволит построчно пройти большой документ блоками и обработать каждый блок вашим запросом. Затем этот вопрос будет задан всему документу целиком.

{  
    "name": "ai_doc_analyze",  
    "description": "Анализ документа по URL с использованием OpenAI API",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "url": {  
                "type": "string",  
                "description": "URL документа", 
            },
            "role": {  
                "type": "string",  
                "description": "Роль ИИ для оптимального выполнения поставленной пользователем задачи. Например для перевода это будет роль: `Ты - переводчик текстов`.", 
            },
            "user_question": {  
                "type": "string",  
                "description": "Дословная формулировка задачи от пользователем относительно данного документа. Если задача не понятна, требуется уточнить её у пользователя.", 
            }, 
            "answer_in_dialog": {  
                "type": "boolean",  
                "description": "Вернуть ответ в диалог. По умолчанию False", 
            }, 
        }, 
        "required": ["url", "role", "user_question", "answer_in_dialog"],  
    },  
},

Получение скриншота сайта

{  
    "name": "url_screenshot",  
    "description": "Take a screenshot of a given URL",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "url": {  
                "type": "string",  
                "description": "The URL of the website to take a screenshot of",  
            }, 
            "token": {  
                "type": "string",  
                "description": "API token for authentication",  
            }, 
        }, 
        "required": ["url", "token"],  
    },  
},

Распознавание MP3

Функция получает ссылку на MP3 файл и с помощью методов асинхронного распознавания Яндекса возвращает текстовый файл с результатом.

Если ты получишь ссылку на файл .mp3, то сразу вызови функцию распознования с параметрами:
{
  'languageCode' : '',
  'model' : 'general',
  'profanityFilter' : False,
  'literature_text' : False,
  'audioEncoding' : 'MP3',
  'audioChannelCount' : 1,
  'rawResults' : False,
}
bucket_name = 'protalkstt'

{  
    "name": "yandex_transcribe_audio",  
    "description": "Отправить аудиофайл на распознавание речи",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "audioURL": {  
                "type": "string",  
                "description": "URL аудиофайла", 
            },
            "languageCode": {  
                "type": "string",  
                "description": "Код языка, по умолчанию `ru-RU`",  
            }, 
            "audio_model": {  
                "type": "string",  
                "description": "Модель распознавания, по умолчанию `general`", 
                "enum": ["general"], 
            },
            "profanityFilter": {  
                "type": "boolean",  
                "description": "Фильтр ненормативной лексики, по умолчанию `False`", 
            },
            "literature_text": {  
                "type": "boolean",  
                "description": "Включает режим нормализации, по умолчанию `False`", 
            },
            "audioEncoding": {  
                "type": "string",  
                "description": "Формат аудиофайла, по умолчанию `MP3`", 
                "enum": ["LINEAR16_PCM", "OGG_OPUS", "MP3"],
            },
            "sampleRateHertz": {  
                "type": "integer",  
                "enum": [48000, 16000, 8000],
                "description": "Частота дискретизации аудио. Этот параметр обязателен, если значение format равно LINEAR16_PCM.", 
            },
            "audioChannelCount": {  
                "type": "integer",  
                "description": "Количество аудиоканалов, по умолчанию равно 1", 
            },
        }, 
        "required": ["audioURL", "languageCode", "audio_model", "profanityFilter", "literature_text", "audioEncoding", "audioChannelCount"],  
    },  
},

Омниканальный запрос (текст+фото)

Омниканальный запрос (текст+фото). Задает вопрос к OpenAI API передав одновременно текст и изображения

{
    "name": "openai_question_omni",
    "description": "Задает вопрос к OpenAI API передав одновременно текст и изображения",
    "parameters": {
        "type": "object",
        "properties": {
            "ai_model": {
                "type": "string",
                "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
                "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
            },
            "text": {
                "type": "string",
                "description": "Текстовая информация"
            },
            "images_urls": {
                "type": "string",
                "description": "URLs изображений в формате: `URL1;URL2;URL3`"
            },
            "question": {
                "type": "string",
                "description": "Вопрос, который нужно задать на основе текста и изображений"
            }
        },
        "required": ["ai_model", "text", "images_urls", "question"]
    },
},

Распознавание текста на фото и документах используя EasyOSR, GigaChat, YandexOSR, Gemini

Функция osr_combine предназначена для распознавания текста и шаблонных документов с использованием различных моделей.

Модели для распознавания текста: page (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку. page-column-sort — для распознавания многоколоночного текста. handwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках. table — для распознавания таблиц на русском и английском языках.

Модели для распознавания шаблонных документов: passport — основной разворот паспорта. driver-license-front — водительское удостоверение, лицевая сторона. driver-license-back — водительское удостоверение, обратная сторона. vehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона. vehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона. license-plates — все регистрационные номера автомобилей на изображении.

{  
    "name": "osr_combine",  
    "description": "Распознавание текста по фото или PDF",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "osr_model": {  
                "type": "string",  
                "description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n    \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```", 
                "enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"], 
            }, 
            "file_url": {  
                "type": "string",  
                "description": "URL изображения или PDF файла для распознавания", 
            },
        }, 
        "required": ["osr_model", "file_url"],  
    },  
},

Чтение офисных файлов

Функция переводит файлы форматов PDF, DOC, XLS, PPT в текст

{
    "name": "read_file_from_url",
    "description": "Read a file from a URL and extract text with Cyrillic support",
    "parameters": {
        "type": "object",
        "properties": {
            "url": {
                "type": "string",
                "description": "URL of the file",
            },
            "file_type": {
                "type": "string",
                "description": "Type of the file to read",
                "enum": ["PDF", "DOC", "DOCX", "XLS", "XLSX", "PPT", "PPTX"],
            }
        },
        "required": ["url", "file_type"],
    },
},

Распознавание изображения OpenAI GPT-4-omni

{ 
    "name": "image_recognition", 
    "description": "Распознавание изображения", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "file_url": { 
                "type": "string", 
                "description": "Ссылка файл (URL файла) или изображение (URL фото). Формат файла в ссылке не важен.", 
            },
            "question": { 
                "type": "string", 
                "description": "Формулировка задачи по распознованию изображения", 
            },
        }, 
        "required": ["file_url", "question"], 
    }, 
},

Анализ PDF с помощью ChatGPT 4-omni

{
    "name": "omni_question_pdf",
    "description": "Задает вопрос к PDF-документу, используя API OpenAI и извлекая текст и изображения из PDF.",
    "parameters": {
        "type": "object",
        "properties": {
            "ai_model": {
                "type": "string",
                "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
                "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
            },
            "pdf_url": {
                "type": "string",
                "description": "URL PDF-документа для извлечения текста и изображений"
            },
            "question": {
                "type": "string",
                "description": "Вопрос, который нужно задать на основе содержимого PDF"
            }
        },
        "required": ["ai_model", "pdf_url", "question"]
    },
},

Детальный анализ PDF с помощью ChatGPT 4-omni

{
    "name": "omni_question_pdf_detalied",
    "description": "Составление подробной оценки каждой страницы PDF-документа",
    "parameters": {
        "type": "object",
        "properties": {
            "ai_model": {
                "type": "string",
                "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"],
                "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`"
            },
            "pdf_url": {
                "type": "string",
                "description": "URL PDF-документа для извлечения текста и изображений"
            },
            "role": {
                "type": "string",
                "description": "Формулировка роли ИИ, которая будет проводить анализ PDF"
            }
        },
        "required": ["ai_model", "pdf_url", "role"]
    },
},

Распознавание текста (gemini-pro-vision + gemini-flash)

Функции нужно отправить ссылку на фото в формате JPG

{  
    "name": "osr_combine_ai",  
    "description": "Распознавание текста по фото",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "image_url": {  
                "type": "string",  
                "description": "URL изображения для распознавания", 
            },
        }, 
        "required": ["image_url"],  
    },  
},

Распознавание текста на фото и документах через API YandexOSR (JPG, PNG, PDF)

Функция yandex_osr предназначена для распознавания текста и шаблонных документов с использованием различных моделей.

{  
    "name": "yandex_osr",  
    "description": "Распознавание текста по фото от сервиса Yandex OSR",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "osr_model": {  
                "type": "string",  
                "description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n    \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```", 
                "enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"], 
            }, 
            "file_url": {  
                "type": "string",  
                "description": "URL изображения или PDF файла для распознавания", 
            },
        }, 
        "required": ["osr_model", "file_url"],  
    },  
},

PreviousФункции NextБазы данных

Last updated 1 year ago