http://v.michm.ru/api.php?action=feedcontributions&feedformat=atom&user=%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2+%D0%A2%D0%B8%D0%BC%D1%83%D1%80 2026-06-07T04:45:35Z Вклад участника MediaWiki 1.19.23 http://v.michm.ru/index.php/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_2022_%D0%B2%D0%B5%D1%81%D0%BD%D0%B0 2022-05-21T13:06:57Z

<p>Магеррамов Тимур: </p> <hr /> <div>18.04.2022<br /> <br /> [https://docs.sbercloud.ru/aicloud/mlspace/doc-contents.html Ml Sbercloud]<br /> <br /> [https://docs.sbercloud.ru/s3/ug/index.html S3]<br /> <br /> [https://docs.sbercloud.ru/platform-v-kafka-sber-edition/ug/index.html Kafka]<br /> <br /> [https://docs.sbercloud.ru/dli/ug/index.html Data Lake Insight]<br /> <br /> [https://docs.sbercloud.ru/mrs/ug/index.html MapReduce Service]<br /> <br /> <br /> Для проработки 04.04.2022:<br /> <br /> [https://www.striim.com/blog/change-data-capture-cdc-what-it-is-and-how-it-works/ Change Data Capture (CDC): What it is and How it Works]<br /> <br /> [https://biconsult.ru/services/etl-i-elt-5-osnovnyh-otlichiy ETL и ELT: 5 основных отличий]<br /> <br /> [https://medium.com/whatnot-engineering/building-a-modern-data-stack-at-whatnot-afc1d03c3f9m Building a Modern Data Stack at Whatnot]<br /> <br /> [https://engineering.grab.com/real-time-data-ingestion Real-time data ingestion in Grab]<br /> <br /> [https://www.bigdataschool.ru/wiki/data-lake Data Lake]<br /> <br /> [https://towardsdatascience.com/the-key-feature-behind-lakehouse-data-architecture-c70f93c6866f The Key Feature Behind Lakehouse Data Architecture]<br /> <br /> <br /> Для проработки 28.03.2022:<br /> <br /> [https://www.bigdataschool.ru/wiki/spark Spark]<br /> <br /> [https://www.bigdataschool.ru/wiki/yarn YARN]<br /> <br /> <br /> [https://www.bigdataschool.ru/wiki/hdfs HDFS]<br /> <br /> [https://www.bigdataschool.ru/wiki/cassandra Cassandra]<br /> <br /> [https://www.bigdataschool.ru/wiki/kafka Kafka]<br /> <br /> [https://www.youtube.com/watch?v=3h6VWJLK31U Ролик Spark]<br /> <br /> [https://www.youtube.com/watch?v=sVA-jJvhoME Hadoop]<br /> <br /> -----<br /> <br /> <br /> Azure:<br /> <br /> [https://www.youtube.com/watch?v=uWIT6kDq7s4 Machine Learning in Azure 1 часть 1]<br /> <br /> [https://www.youtube.com/watch?v=O86mibwJpXU Machine Learning in Azure 1 часть 2]<br /> <br /> [https://www.youtube.com/watch?v=lwWk64lqKbk Machine Learning in Azure 2]<br /> <br /> <br /> [https://www.youtube.com/watch?v=0nnC8MCHInk Machine Learning in Azure 3]<br /> <br /> <br /> <br /> <br /> <br /> Лекции и общие задания<br /> <br /> 07.02.2022 Лекция 1. <br /> <br /> Задание 1: ВСЕМ студентам - завести аккаунт на Yandex (почту)с реальными ФИО<br /> <br /> Задание 2: просмотреть инструкции (в особенности - определения!) [https://cloud.yandex.ru/docs/datasphere/quickstart DataSphere]<br /> <br /> [https://cloud.yandex.ru/ Yandex.Cloud]<br /> <br /> 14.02.2022 Занятие по YandexCloud<br /> <br /> Команда: Корсаков, Демин, Тодорич, Глянцев, Луцикова<br /> <br /> Получилось сделать перевод введенного текста на python. Скрипт соединяется с сервисом yandex'а и, пользуясь своими ресурсами, переводит текст возвращая json строку, из которой достается переведенный текст. <br /> Были использованы документации для успешной работы, а именно: <br /> <br /> Для получения IAM-Токена: https://cloud.yandex.ru/docs/iam/operations/iam-token/create<br /> <br /> Соединением с сервисом яндекса: https://cloud.yandex.ru/docs/translate/operations/translate<br /> <br /> Получив IAM-Токен и идентификатор каталога не составило труда дописать скрипт.<br /> <br /> <br /> <br /> Команда: Алешин, Жижин, Кузнецов, Кузьминых, Гакиев, Сафин, Салимов, Иванов<br /> <br /> При работе через сайт не принимает файл .wav (ошибка 400)<br /> <br /> С помощью команды yc iam create-token в cmd получили IAM-Токен.<br /> Из каталога скопировали его идентификатор.<br /> С помощью примера использования API получилось достать из файла расширения .pcm текст(https://cloud.yandex.ru/docs/speechkit/stt/api/streaming-examples). С файлами другого расширения результата получить не удалось.<br /> <br /> <br /> Команда: Битарова, Перминова, Суржикова, Счастливая<br /> <br /> Работали с Yandex Translate. Перевод текста осуществлялся на python.<br /> <br /> Во-первых, мы нашли OAuth-токен, который впоследствии обменяли на нужный нам IAM-токен. Обмен осуществлялся с помощью Windows PowerShell. Далее нужный программный код, для перевода текста, мы загрузили в онлайн-компилятор. Было проведено 2 запроса: с английского языка на русский, и наоборот - с русского на английский.<br /> Оба запроса выполнились успешно: показывался перевод слова и с какого языка было переведено.<br /> <br /> Ссылка на скрины с кодом и результатом его выполнения:https: https://disk.yandex.ru/d/83ljw6TT0IhNgA<br /> <br /> <br /> Команда: Магеррамов, Киселева, Колесников, Лапина<br /> <br /> Работа с Yandex Speechkit. Cоздан платежный аккаунт, с помощью Windows PowerShell получен IAM-токен для дальнейшей работы с сервисом. На языке программирования python написана программа, позволяющая переводить полученный на вход текст в аудиофайл формата .raw. Планировалось внутри программы конвертировать формат .raw в .wav с помощью утилиты sox, рекомендуемой YandexCloud. По какой-то причине конвертация не работает, но для проверки результата была скачана сторонняя программа, позволяющая изменить формат и прослушать аудиозапись.<br /> <br /> Код программы и рабочая аудиозапись по ссылке на диске: https://drive.google.com/drive/folders/1tMqvjJgG_8OG9VOKjp1BEZBrQ9CSR3eR?usp=sharing<br /> <br /> Azure: проработаны обучающие видео по курсу машинного обучения в среде Azure<br /> <br /> Проработаны большие данные (базы данных), такие как: Spark, Yarn, Cassandra и другие. <br /> Выявлены ряды плюсов и минусов каждой из баз данных (архитектурные особенности, компонентность,<br /> клиентоориентированность и, непосредственно, функционал)<br /> <br /> Объектное хранилище: познакомились с облаком Sber Cloud. В S3 можно хранить данные в любом формате, будь то аудио или видео файлы, документы, электронные письма, персональные данные, резервные копии, образы виртуальных машин, данные для работы приложений, BigData и так далее. При этом данные хранятся в исходном формате, без каких-либо преобразований.<br /> <br /> Стоит отметить, что данные в хранилище размещаются в виде объектов в плоском адресном пространстве (без иерархии) — это позволяет приложениям быстрее получать доступ к объектам и работать с хранилищем по протоколу HTTP/HTTPS, - несомненный плюс данной структуры.<br /> <br /> Познакомились и проработали информацию о программном продукте Platform V Kafka, который предназначен для автоматизации развертывания, масштабирования контейнеризированных приложений и управления ими с использованием платформы Kubernetes путем предоставления REST API (то есть программный интерфейс приложений, описание способов для обмена данными между приложениями). <br /> <br /> Об архитектурной организации сбербанка подробнее рассказал работник из данной организации. Глубже посвятил в структуру базы данных, рассказал подробнее о сервисах обработки и анализа больших данных, работающих на базе системы Apache Spark (Data Lake Insight (DLI)). Также был затронут MapReduce Service (MRS) — надежная, безопасная и простая в использовании платформа корпоративного уровня для хранения, обработки и анализа больших данных.<br /> <br /> <br /> Успехи выполнения:<br /> <br /> <br /> <br /> [https://cloud.yandex.ru/docs/datasphere/pricing Правила тарификации для DataSphere]<br /> <br /> [https://cloud.yandex.ru/docs/datasphere/security/ Настройки прав доступа]<br /> <br /> [https://cloud.yandex.ru/docs/datasphere/public-talks вебинары]<br /> <br /> [https://cloud.yandex.ru/docs/datasphere/tutorials/ Руководства]<br /> <br /> [https://cloud.yandex.ru/docs/datasphere/concepts/ Понятия и конфигурации]</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_(%D1%80)_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-12-05T09:30:25Z

<p>Магеррамов Тимур: </p> <hr /> <div>Задание №2: https://drive.google.com/drive/folders/1YAb4bhRyu7pF3YjNcoUmRJVmyFxZlSuY?usp=sharing<br /> <br /> Введены исправления по поиску</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%A0%D0%B5%D0%B3%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-12-05T09:18:25Z

<p>Магеррамов Тимур: </p> <hr /> <div>Ссылка на гугл-диск: https://docs.google.com/document/d/1L153g5dvI-PJ_MxeplE2hSFTPyES9QuY/edit?usp=sharing&amp;ouid=113953011418382345956&amp;rtpof=true&amp;sd=true<br /> Исправлены поиски статей - все соответствует тематике главной темы.</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%A0%D0%B5%D0%B3%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-12-05T09:17:36Z

<p>Магеррамов Тимур: </p> <hr /> <div>Ссылка на гугл-диск: https://drive.google.com/drive/folders/1unjTR336yPr-PWmlS29wSxWXYe_G_WoY?usp=sharing<br /> Исправлены поиски статей - все соответствует тематике главной темы.</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_(%D0%B0)_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-11-22T17:49:51Z

<p>Магеррамов Тимур: Новая страница: «Задание 3: https://drive.google.com/drive/folders/1IXRe0aN5eKBwUngMb6KVn8k0MS10SRR5?usp=sharing»</p> <hr /> <div>Задание 3: https://drive.google.com/drive/folders/1IXRe0aN5eKBwUngMb6KVn8k0MS10SRR5?usp=sharing</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_(%D1%80)_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-11-21T15:15:37Z

<p>Магеррамов Тимур: Новая страница: «Задание №2: https://drive.google.com/drive/folders/1YAb4bhRyu7pF3YjNcoUmRJVmyFxZlSuY?usp=sharing»</p> <hr /> <div>Задание №2: https://drive.google.com/drive/folders/1YAb4bhRyu7pF3YjNcoUmRJVmyFxZlSuY?usp=sharing</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%9A%D1%80_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-11-15T12:06:59Z

<p>Магеррамов Тимур: </p> <hr /> <div>Контрольная работа: https://drive.google.com/drive/folders/1hUSPY927XQiuE4A7KTUsbdND1Sh9xcat?usp=sharing</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%9A%D1%80_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-11-15T12:03:43Z

<p>Магеррамов Тимур: Новая страница: «Контрольная работа: https://docs.google.com/document/d/1lvOywZBZoViaMEbUwoMAFw-4keGVriYA/edit?usp=sharing&amp;ouid=113953011418382345956&amp;rtpof=true&amp;s…»</p> <hr /> <div>Контрольная работа: https://docs.google.com/document/d/1lvOywZBZoViaMEbUwoMAFw-4keGVriYA/edit?usp=sharing&amp;ouid=113953011418382345956&amp;rtpof=true&amp;sd=true</div>

Магеррамов Тимур http://v.michm.ru/index.php/%D0%A0%D0%B5%D0%B3%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%9C%D0%B0%D0%B3%D0%B5%D1%80%D1%80%D0%B0%D0%BC%D0%BE%D0%B2 2021-09-08T11:38:07Z

<p>Магеррамов Тимур: Новая страница: «Ссылка на гугл-диск: https://drive.google.com/drive/folders/1unjTR336yPr-PWmlS29wSxWXYe_G_WoY?usp=sharing»</p> <hr /> <div>Ссылка на гугл-диск: https://drive.google.com/drive/folders/1unjTR336yPr-PWmlS29wSxWXYe_G_WoY?usp=sharing</div>

Магеррамов Тимур