Фото и видео

• Поиск в Яндекс.Картинки

• Поиск картинки в Google

• Генерация изображений DALL-E v3

• Генерация SVG

• Генерация фото (Midjourney)

• Генерация изображений Kandinsky

• Генерация фото StabilityAI v3

• Замена лиц на фото (Midjourney)

• Распознавание рукописного текста

• Распознавание MP3

• Распознавание изображения OpenAI GPT-4-omni

• Задать вопрос к видео на YouTube

• Создание стикеров для Telegram

• Создания 3D аватара от HedraAI

Поиск в Яндекс.Картинки

Поиск в Яндекс.Картинки

{ 
    "name": "yandex_images", 
    "description": "Поиск на Яндекс.Картинки", 
    "parameters": { 
        "type": "object", 
        "properties": { 
            "query": { 
                "type": "string", 
                "description": "Поисковый запрос", 
            }, 
        }, 
        "required": ["query"], 
    }, 
}, 

Поиск картинки в Google

Поиск картинки в Google

{
    "name": "get_google_image",
    "description": "Получить URL изображения по запросу в Google",
    "parameters": {
        "type": "object",
        "properties": {
            "query": {
                "type": "string",
                "description": "Поисковый запрос для Google"
            }
        },
        "required": ["query"]
    },
},

Генерация изображений DALL-E v3

Функция даёт возможность попросить бота создать изображение или показать то, о чем он вам написал через генерацию изображений DALL-E v3

{ 
    "name": "generate_image_dalle", 
    "description": "Генерация изображений", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "query": { 
                "type": "string", 
                "description": "Описание изображения", 
            },
            "resolution": { 
                "type": "string", 
                "enum" : ["1024x1024", "1792x1024", "1024x1792"],
                "description": "Разрешение изображения, по умолчанию 1024x1024", 
            },
        }, 
        "required": ["query", "resolution"], 
    }, 
},

Генерация SVG

Генерация SVG файлов. Используется модель OpenAI O1-mini.

{
    "name": "svg_generate",
    "description": "Генерация SVG файлов",
    "parameters": {
        "type": "object",
        "properties": {
            "question": {
                "type": "string",
                "description": "Дословное описание задачи пользователя для генерации SVG файла"
            }
        },
        "required": ["question"]
    },
},

Генерация фото (Midjourney)

Для работы функции нужно указать токен от https://apiframe.pro/

Пример вызова функции:

"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне голубоглазую девушку в стиле фотореализм в формате 4:7"

"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне голубоглазую девушку в стиле фотореализм в формате 4:7"

💡Токен можно прописать внутри инструкций вашего бота и тогда будет достаточно только запроса на генерацию картинки. https://documenter.getpostman.com/view/33976547/2sA35HXgaH

https://documenter.getpostman.com/view/33976547/2sA35HXgaH

ApiFrame - Midjourney API DocumentationAPIFRAME - MIDJOURNEY API

{ 
    "name": "generate_image_midjourney", 
    "description": "Generate image with Midjourney", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "api_key": { 
                "type": "string", 
                "description": "API KEY", 
            },
            "prompt": { 
                "type": "string", 
                "description": "Detailed prompt for generate image in Midjourney", 
            },
            "aspect_ratio": { 
                "type": "string", 
                "enum": ["1:1", "2:3", "3:2", "4:5", "5:4", "4:7", "7:4"],
                "description": "image proportions, by default 1:1", 
            },
        }, 
        "required": ["prompt", "api_key", "aspect_ratio"], 
    }, 
},

Генерация изображений Kandinsky

Функция даёт возможность попросить бота создать изображение или показать то, о чем он вам написал через генерацию изображений Kandinsky (Fusion Brain)

  { 
    "name": "generate_image_sber", 
    "description": "Генерация изображений", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "query": { 
                "type": "string", 
                "description": "Описание изображения", 
            },
        }, 
        "required": ["query"], 
    }, 
},

Генерация фото StabilityAI v3

Для работы функции нужно указать токен от https://stability.ai/

https://stability.ai/

Пример вызова функции:

"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне снежного барса в снегопаде"

"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне снежного барса в снегопаде"

{ 
    "name": "generate_image_stabilityai", 
    "description": "Генерация изображений", 
    "parameters": { 
        "type": "object", 
        "properties": { 
            "api_key": { 
                "type": "string", 
                "description": "API KEY", 
            },
            "query": { 
                "type": "string", 
                "description": "Описание изображения. Минимум в 10 слов и только на английском языке.", 
            },
            "resolution": { 
                "type": "string", 
                "enum" : ["1024x1024", "1792x1024", "1024x1792"],
                "description": "Разрешение изображения, по умолчанию 1024x1024", 
            },
        }, 
        "required": ["query", "resolution"], 
    }, 
},

Замена лиц на фото (Midjourney)

Замена лиц на фото (Midjourney)

Для работы функции нужно указать токен от https://apiframe.pro/

https://apiframe.pro/

💡Токен можно прописать внутри инструкций вашего бота и тогда будет достаточно только запроса на генерацию картинки.

ApiFrame - Midjourney API DocumentationAPIFRAME - MIDJOURNEY API

https://documenter.getpostman.com/view/33976547/2sA35HXgaH

{ 
    "name": "faceswap_midjourney", 
    "description": "Face swap with Midjourney", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "api_key": { 
                "type": "string", 
                "description": "API KEY", 
            },
            "target_image_url": { 
                "type": "string", 
                "description": "Target image URL", 
            },
            "swap_image_url": { 
                "type": "string", 
                "description": "Swap image URL", 
            },
        }, 
        "required": ["api_key", "target_image_url", "swap_image_url"], 
    }, 
},

Распознавание рукописного текста

Распознавание рукописного текста

{ 
    "name": "handwriting_recognition", 
    "description": "Распознавание рукописного текста", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "file_url": { 
                "type": "string", 
                "description": "Ссылка файл (URL файла) или изображение (URL фото) с рукописным текстом. Формат файла в ссылке не важен.", 
            },
        }, 
        "required": ["file_url"], 
    }, 
},

Распознавание MP3

Функция получает ссылку на MP3 файл и с помощью методов асинхронного распознавания Яндекса возвращает текстовый файл с результатом.

Если ты получишь ссылку на файл .mp3, то сразу вызови функцию распознования с параметрами:
{
  'languageCode' : '',
  'model' : 'general',
  'profanityFilter' : False,
  'literature_text' : False,
  'audioEncoding' : 'MP3',
  'audioChannelCount' : 1,
  'rawResults' : False,
}
bucket_name = 'protalkstt'

{  
    "name": "yandex_transcribe_audio",  
    "description": "Отправить аудиофайл на распознавание речи",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "audioURL": {  
                "type": "string",  
                "description": "URL аудиофайла", 
            },
            "languageCode": {  
                "type": "string",  
                "description": "Код языка, по умолчанию `ru-RU`",  
            }, 
            "audio_model": {  
                "type": "string",  
                "description": "Модель распознавания, по умолчанию `general`", 
                "enum": ["general"], 
            },
            "profanityFilter": {  
                "type": "boolean",  
                "description": "Фильтр ненормативной лексики, по умолчанию `False`", 
            },
            "literature_text": {  
                "type": "boolean",  
                "description": "Включает режим нормализации, по умолчанию `False`", 
            },
            "audioEncoding": {  
                "type": "string",  
                "description": "Формат аудиофайла, по умолчанию `MP3`", 
                "enum": ["LINEAR16_PCM", "OGG_OPUS", "MP3"],
            },
            "sampleRateHertz": {  
                "type": "integer",  
                "enum": [48000, 16000, 8000],
                "description": "Частота дискретизации аудио. Этот параметр обязателен, если значение format равно LINEAR16_PCM.", 
            },
            "audioChannelCount": {  
                "type": "integer",  
                "description": "Количество аудиоканалов, по умолчанию равно 1", 
            },
        }, 
        "required": ["audioURL", "languageCode", "audio_model", "profanityFilter", "literature_text", "audioEncoding", "audioChannelCount"],  
    },  
},

Распознавание изображения OpenAI GPT-4-omni

Распознавание изображения OpenAI GPT-4-omni

{ 
    "name": "image_recognition", 
    "description": "Распознавание изображения", 
    "parameters": { 
        "type": "object", 
        "properties": { 
           "file_url": { 
                "type": "string", 
                "description": "Ссылка файл (URL файла) или изображение (URL фото). Формат файла в ссылке не важен.", 
            },
            "question": { 
                "type": "string", 
                "description": "Формулировка задачи по распознованию изображения", 
            },
        }, 
        "required": ["file_url", "question"], 
    }, 
},

Задать вопрос к видео на YouTube

Задать вопрос к видео на YouTube

{  
    "name": "question_youtube_video",  
    "description": "Отправляет вопрос к видео на YouTube и получает ответ",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "openai_api_key": {  
                "type": "string",  
                "description": "API ключ OpenAI",  
            }, 
            "model": {  
                "type": "string",  
                "description": "Модель OpenAI для обработки запроса",  
                "enum": ["gpt-4o-2024-08-06", "gpt-4o-mini"], 
            }, 
            "video_url": {  
                "type": "string",  
                "description": "URL видео на YouTube",  
            }, 
            "question": {  
                "type": "string",  
                "description": "Вопрос к видео",  
            }, 
        }, 
        "required": ["openai_api_key", "model", "video_url", "question"],  
    },  
},

Создание стикеров для Telegram

Принцип работы:

• Изображение конвертируется в формат RGBA.

• Цвет фона определяется по первому пикселю (0,0).

• Все пиксели, которые совпадают с цветом фона (с учетом заданного коэффициента допуска), становятся прозрачными.

{  
    "name": "convert_image_to_sticker",  
    "description": "Создание стикера из картинки JPG или PNG",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "image_url": {  
                "type": "string",  
                "description": "URL изображения",  
            }, 
            "tolerance": {  
                "type": "integer",  
                "description": "Коэффициент допуска для определения прозрачности пикселей. По умолчанию равен 30.", 
            }, 
        }, 
        "required": ["image_url", "tolerance"],  
    },  
},

Создания 3D аватара от HedraAI

Функция generate_talking_character предназначена для создания говорящего персонажа на основе изображения и текста.

{  
    "name": "hedra_generate_talking_character",  
    "description": "Generate a talking character from an image and text",  
    "parameters": {  
        "type": "object",  
        "properties": { 
            "image_url": {  
                "type": "string",  
                "description": "URL of the image for the character",  
            }, 
            "text": {  
                "type": "string",  
                "description": "Text for the character to speak",  
            }, 
            "api_key": {  
                "type": "string",  
                "description": "API key for authentication",  
            }, 
            "voice_id": {  
                "type": "string",  
                "description": "Voice ID for the character. Male default: `Mg1264PmwVoIedxsF9nu`. Female default: `LcfcDJNUP1GQjkzn1xUU`",  
            }, 
        }, 
        "required": ["image_url", "text", "api_key", "voice_id"],  
    },  
},