Чтобы добавлять сообщения и комментарии, .

@otakuSiD:
otakuSiD

Suspend and Resume Processes Using the AWS CLI

docs.aws.amazon.com

aws autoscaling suspend-processes --auto-scaling-group-name ASGNAME --profile dev --region us-east-1 --output text
aws autoscaling resume-processes --auto-scaling-group-name ASGNAME --profile dev --region us-east-1 --output text

@otakuSiD:
otakuSiD

install latest node.js on AWS Linux

curl --silent --location rpm.nodesource.com | bash —
yum -y install nodejs
npm install npm -g


nodejs.org

@otakuSiD:
otakuSiD

How do I enable the EPEL repository for my Amazon EC2 instance running Centos, RHEL, or Amazon Linux?


aws.amazon.com

@otakuSiD:
otakuSiD

in case of quick backup needed

Write-S3Object -BucketName backup-backet -File D:\backup.zip -Key /backups/backup-0.zip
Copy-S3Object -BucketName backupbacket -LocalFile d:\backup.zip -Key /backups/backup-0.zip

@otakuSiD:
otakuSiD

manual deployment of elastic beanstalk application:


upload new package version to s3

aws s3 cp app-package.zip s3://packages-bucket/packages/manual-app-0.zip --profile yourprofile

create new version in beanstalk

aws elasticbeanstalk create-application-version --application-name some-app --version-label "manual-0" --source-bundle S3Bucket="packages-bucket",S3Key="/packages/manual-app-0.zip" --profile yourprofile

update beanstalk to new version

aws elasticbeanstalk update-environment --application-name some-app --environment-id e-someid --version-label "manual-0" --profile yourprofile

@otakuSiD:
otakuSiD

in case you need to backup some data quickly:

PowerShell:

Write-S3Object -BucketName some-bucket-name -File c:\my-data-to-backup.zip -Key /backups/data.zip

@otakuSiD:
otakuSiD

Install Maven with Yum on Amazon Linux

gist.github.com

@qnikst:
qnikst

дано:
aws инстанс, на нём нода, в которой работает консенсус протокол, тут важно только то, что раз в N секунд лидер должен подтвердить свое лидерство, т.е. используется какой-то там таймер. Лидер периодически его теряет (хотя при той нагрузке что есть не должен), и на реальном железе, и в виртуалке не воспроизводится. Но, стоит мне включить кучу debug логов, как все начинает работать и лидерство не теряется, хотя казалось бы должно быть наоборот.

Куда тут вообще можно копать?

@otakuSiD:
otakuSiD

If you faced up with path to long issues when deploying new asp.net 5 application using AWS CodeDeploy — here is script that configure CodeDeploy service to use short path root folder. Use it when you setup the host fro you application.

gist.github.com

@zoonman:
zoonman

Жуйка, подскажи, что лучше GridFS vs S3. Вот сижу и думаю, что будет лучше. Засунуть все свои файлы в ГридФС Монги и заморочиться с амазоновским С3.
GridFS выглядит няшно, репликации, шардинг, относительно секурно. Мне часть файлов нельзя напрямки отдавать.
S3 привлекает простой хранения и масштабирования.
Задача — хранить миллионы mp3-шек и документов.
Я тут еще на Swift смотрел, но мутное оно какое-то.

@otakuSiD:
otakuSiD

Environment Variables — good alternative to profile to authorize aws cli from build scripts


docs.aws.amazon.com

@otakuSiD:
otakuSiD

youtrack.jetbrains.com

There are couple issues with push agent functionality:

— by default wrapper.ntservice.interactive setting in the buildAgent/launcher/conf/wrapper.conf configuration file is set to true — this brings to error during agent installation with psexec:


in the push agent logs:

bootstrapper.exe exited on MY_AGENT_HOST_IP with error code 255.
Remote agent installation failed: Command 'D:\:\teamcity\temp___5060497447753492559\cli-wrapper.exe D:\teamcity_data\system\pluginData\psexec\psexec.exe /accepteula \\MY_AGENT_HOST_IP -e -h -u MY_USER -p ********** -c -f D:\teamcity\temp___5612841585882618839\bootstrapper.exe bootstrap -u MY_TC_MASTER_HOST – bin\install.bat MY_TC_MASTER_HOST C:\\BuildAgent 27f25fcd78b2812602f9a14ea6756bae' was executed with error message(s): Execution error. Return code=255


in the windows event logs on agent host:

The TeamCity Build Agent service is marked as an interactive service. However, the system is configured to not allow interactive services. This service may not function properly.

— it would be good to determine if push agent functionality used to install agent on EC2 host and set wrapper.ntservice.dependency.1=Ec2Config setting of the buildAgent/launcher/conf/wrapper.conf configuration file. As mentioned in manual (https://confluence.jetbrains.com/display/TCD9/Setting+up+and+Running+Additional+Build+Agents#SettingupandRunningAdditionalBuildAgents-BuildAgentasaWindowsService). Or provide corresponding configuration option in the Agent Push preset configuration dialog

— to simplify agent push configuration on the AWS please add note to manual about 445 port that should be configured in the AWS::EC2::SecurityGroup attached to build agent host. This allow to communicate psexec from TeamCity server host with build agent host

@otakuSiD:
otakuSiD

AWS Code Deploy — delete windows service during 'ApplicationStop' event


gist.github.com

@otakuSiD:
otakuSiD

Selecting detailed monitoring is a prerequisite for the collection of Auto Scaling group metrics. For more information, see the section called "Auto Scaling Group Support”
docs.aws.amazon.com

So ASG now turned to black hole that wast your money for detailed monitoring.

@otakuSiD:
otakuSiD

ERROR: Failed to build gem native extension
you have to install development tools first

что бы побороть ставим два пакета:

gcc-c++
libstdc++-devel

@otakuSiD:
otakuSiD

по умолчанию aws beanstalk настраивает auto scaling group использовать ec2 метрики для определения жив хост или нет. так не пойдет если там хоститься веб приложение, так как дееспособность веб приложения определяем elastic load balancer дергая health check url.

чтобы заставить aws beanstalk использовать метрики балансера для определения здоровья хоста нужно добавить в пакет следующие настройки:

docs.aws.amazon.com

Из cloudformation темплейта эти настройки прокинуть нельзя :(

@otakuSiD:
otakuSiD

Пощупал немного немного terraform (terraform.io):

pros

— changes can be previewed before it applied (https://www.terraform.io/docs/commands/plan.html and terraform.io
— have a modules (https://www.terraform.io/intro/getting-started/modules.html) system that allow to reuse existing configurations
— have no lock to AWS and allow to work with different resources (https://www.terraform.io/docs/providers/)
— have templating (https://www.terraform.io/docs/providers/template/)

cons

— there is no creationpolicy (http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-attribute-creationpolicy.html) alternative github.com
so we have no ability to check if instance configured properly in easy way
— there is no ability to configure AWS::CloudFormation::Init (http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-init.html) metadata
so we have no ability to work with host configurations that already written. (could be replaced by Chef terraform.io
— there is no ability to work with AWS Roles yet (https://github.com/hashicorp/terraform/issues/1275)
so we need to provide AWS access and secret tokens

language support in Atom

atom.io

@tosh:
tosh

forums.aws.amazon.com
Хотите несколько доменов, поддерживающих HTTPS — создавайте несколько "elastic" балансеров.

@fmap:
fmap

Dear Amazon Web Services Customer,
There was a problem with your account 12345. We were unable to charge your credit card for the amount of $AMOUNT for your use of AWS services during the month of Oct-2015. We will attempt to collect this amount again. Unless we are successful in collecting the balance of $AMOUNT in full by 11/30/2015, your Amazon Web Services account may be suspended or terminated.
Почему-то ассоциируется с историями когда коллекторы звонят бабушке в Сибирь на холодильник.

@otakuSiD:
otakuSiD

Introducing AWS CloudFormation Designer for Visually Authoring Templates

aws.amazon.com
aws.amazon.com
docs.aws.amazon.com

Незнаю насколько удобно будет, но визуальной части давно не хватало — что бы все зависимоти просмотреть одной кучкой.

Ну и CodeDeploy теперь в темплейты писать можно, давно пора:

aws.amazon.com

@fmap:
fmap

Куда нажать чтобы узнать примерные издержки амазона по тарифам?

@otakuSiD:
otakuSiD

Version 3 of the AWS SDK for .NET is available for production use in .NET 3.5 and 4.5

The new version is distributed as several per-service packages on NuGet. The package names take the form of "AWSSDK — [service name]", allowing you to conveniently find, install, and depend only on the packages your application needs. This allows us to be more agile in delivering API updates to customers, and customers get the benefits of smaller dependency footprint, faster deployments, and the ability to individually update AWS service clients.
aws.amazon.com

docs.aws.amazon.com

blogs.aws.amazon.com

@Yurtaev:
Yurtaev

Пришел инвайт на aws ECS Я ожидал большего, продукт пока сырой и не возникает желания "лизнуть", в отличие от того что показал сам docker

@Yurtaev:
Yurtaev

Только aws beanstalk починил баги для docker как оказывается нельзя указать --privileged Ежики плакали кололись но продолжали жрать бобы...

@Yurtaev:
Yurtaev

Шикарно #aws не дает деплоить если на машине переведено время, пришлось откатить обратно.

@Yurtaev:
Yurtaev

Попробовал я тут разрекламированную (@docker усилено ретвитит все сообщения об этом, что даже большой AWS любит docker) фичу поддержки деплоя docker контейнеров в aws beanstalk.

Как идея хорошая. Я уже и так стараюсь заворачивать всё что могу в контейнер, это как минимум удобно для тестирования деплой скриптов, можно проверить всё ли запускается и не упустили ли какой пакет для установки (с docker это намного быстрее чем с vagrant). Плюс можно прогнать тесты в том же окружение в котором будет работать и продакшен версия.

Идея отличная, но реализация у AWS страдает. Есть как минимум две проблемы:

1. goo.gl нет возможности пробросить переменные окружения в контейнер, что очень странно т.к в обычное EB приложение возможность есть. Выглядит просто как недоработка, это должны починить, а еще лучше если добавят поддержку fig
2. goo.gl проблема хуже, при деплое сборка контейнера завершается с успехом, но процедура отваливается по таймауту, подозреваю что-то крашится на стороне утилит aws для сборки и запуска контейнеров. От этого можно выкрутится, следовать совету просто убивать инстанс и ждать пока балансер поднимет новый или подготавливать контейнеры самим и выкладывать на свой приватный хаб (EB поддерживает приватные репы), но это лишние телодвижения.

Еще из минусов:

— сборка контейнеров при деплое очень долгая, т.е не только в первый раз когда надо спулить основные слои, а всегда
— чувство что делали для галочки

Если коротко то EB пока сыроват для docker что печально, т.к на мой взгляд EB самый простой способ поднять бэкенд с возможностью настроить автомасштабирование без больших проблем.

@qrilka:
qrilka

читаю тут доки на boto:
---
Return type:  
Reservation
Returns:  
The boto.ec2.spotinstancerequest.SpotInstanceRequest associated with the request for machines
---
при этом SpotInstanceRequest и Reservation - реально разные классы.
Ну вот как так можно?

@erthad:
erthad

сейчас удаляя сервер на AWS внезапно спохватился — вдруг туда кто-то зашел, человек же погибнет

@Yurtaev:
Yurtaev

У амазона сегодня лежит RDS в зоне US-WEST-1 и вот из-за экономии сервис лежит. Я так понимаю у всех так пока первый раз не случиться, а потом шевелиться начинают?

@Yurtaev:
Yurtaev

Попробовал я тут amazon beanstalk и мне понравилось (если не смотреть на цены амазона в целом). Аля такой GAE стайл но без завязки на платформе. Т.е можно поднять например проект который будет сам масштабироваться, правда это не касается RDS, потому что понятно mysql/postgres автоматически скейлить сложно.
Но больше всего мне понравилось что решается вопрос деплоя, такой упрощенный вариант шефа, больше похожий на хероку. Не надо сильно администь, думать как держать нагрузку и как деплоить на десятки машин.

@Michae1:
Michae1

Амазонщики зачётно обновили дизайн.

@dr-Chaos:
dr-Chaos

Пока не поменял ендпоинт европейскому бкету на EU-шный. При аплоаде периодически пугал меня ошибками
hClose: resource vanished
и
FailedConnectionException "bucket_name.s3.amazonaws.com" 443
после удаления. Хотя и удалял
Срань какая-то...

@Melhior:
Melhior

Жуйк, есть обладатели серверов в AWS?

@Arepo:
Arepo

если у кого-то при использовании амазоновского фарволла при большой нагрузке иногда теряются тсп-соединения от линуксов и маков, то возможно стоит отключить tcp window scaling на сервере. Нам эта "особенность" файрволла амазона попортила немало крови.

@Melhior:
Melhior

Как-то у Amazon S3 цены невменяемы... 500 гиг хранилище, 10тб трафика в месяц — 1300$

Аренда сервака обойдется существенно дешевле... раз в 10-ть

@rakoth:
rakoth

ай-ай! Потерял карту, не оплатил хостинг на амазоне(там ~$5 набежало). Теперь во периодически присылают письма "хьюстон, у нас проблемы". Нет, там всё по уму — даже ссылка есть "оплатить другой картой". Но не подписывать же туда основную!

@vladimir-vg:
vladimir-vg

Читаю тут про EC2, в доках указаны следующие конфигурации:

Small Instance (Default) 1.7 GB of memory, 1 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit), 160 GB of local instance storage, 32-bit or 64-bit platform

Medium Instance 3.75 GB of memory, 2 EC2 Compute Units (1 virtual core with 2 EC2 Compute Units each), 410 GB of local instance storage, 32-bit or 64-bit platform

Large Instance 7.5 GB of memory, 4 EC2 Compute Units (2 virtual cores with 2 EC2 Compute Units each), 850 GB of local instance storage, 64-bit platform

Extra Large Instance 15 GB of memory, 8 EC2 Compute Units (4 virtual cores with 2 EC2 Compute Units each), 1690 GB of local instance storage, 64-bit platform

Какой смысл давать столько места на диске, если оно ephemeral, существует лишь на момент работы удалённой машины? Для баз данных же без вариантов понадобится EBS?

@rakoth:
rakoth

Хочу на амазоне арчевую амишку, а сколько ни пробую из публичных — ни к одной не могу подключиться

@gelin:
gelin

Облако амазоновое полегло? Сервисы недоступны, console.aws.amazon.com не отвечает.

@Equidamoid:
Equidamoid

Я правильно понял, что мелкая виртуалка у них обойдётся в 52 бакса в год + 5 баксов месяц + 10 центов за гб диска в месяц + сколько-то за N обращений к диску?