【Python】ビッグデータ解析/分散処理基盤開発|~90万|渋谷

月額: 90万円/月
業務内容ビッグデータ解析/分散処理基盤開発をお任せします。
今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。

■業務内容
・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計
・実装、運⽤フロー⾃動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど)に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持
必須スキル・データ処理基盤の設計/構築、または運用経験(1年以上)
・AWS もしくは GCPを利用したサービスの構築経験(1年以上)
・SQL による簡単なデータ分析の経験
歓迎スキル・データ基盤チームの立ち上げ、チームリードの経験
・Apache Airflow (Amazon MWAA, Google Cloud Composer) などのワークフローオーケストレーションを利用した開発経験
・AWS Glue, Amazon EMR などによる ETL 処理の開発経験
・Amazon Athena, Amazon Redshift, BigQuery などの DWH 製品の利用・運用経験
・Apache Spark, Apache Flink 等の分散処理フレームワークを利用した開発経験
・Amazon Kinesis Data Streams, Apache Kafka などを用いたストリーム処理の開発経験
・アジャイル (スクラムベース)での開発経験 (CSM, CSPO, CSD保有者歓迎)
ポジションデータサイエンティスト
勤務地東京都
最寄駅渋谷駅
勤務日数週5日
リモート移行リモート可(フルリモート)
こだわり
開発環境サーバーサイド:Scala, Play Framework, ZIO, Flink, Akka
フロントエンド:TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook
クラウドサービス:AWS(ECS, EKS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache)
仮想化基盤:Docker, Kubernetes
検索:Elasticsearch, Solr
分析基盤:fluentd, AWS(Glue, Athena, CDK), Airflow, BigQuery, Google Data Studio, Redash
プロビジョニング:Terraform, Ansible
監視:DataDog, Kibana
ミドルウェア:nginx, MySQL, ClickHouse
その他使用言語:Python, Go, Rust
開発ツール:Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot

ビズリンクにはさらに選択肢の
広がる非公開案件もあります

募集企業の要望や、募集殺到による混乱を避けるため、サイト上で掲載されない「非公開案件」がございます。登録者限定にて公開していますので、まずはお気軽にご登録ください。

会員登録する

あなたにおすすめのお仕事Recommended

人気言語のお仕事を探す