1 - 30/件 全4件
案件の内容
海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 (現場PM・メンバーは日本人となっております)
求めるスキル
・Java開発経験5年以上 (ScalaまたはSpark開発経験、知識あれば尚可) ・ビジネスレベルの英語/日本語
案件担当のコメント
【作業場所】 ・東京駅近辺 客先常駐(金融機関の本番データを取り扱うため) 【期 間】 ・2025年6,7月~予定 ・参画前に海外ベンダーのデータエンジニア研修(E-learning&Project Work)を 2か月程受講必須となります。(英語での研修となります) ※研修期間の単価については応相談
案件の内容
データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験
求めるスキル
Python経験者様(3年程度は欲しい)
案件の内容
某通信会社向け開発支援作業
求めるスキル
〈リーダー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・リーダー経験が1年以上ある方。 ・基本設計からのご経験がある方。 ※OSS(Kafka、Spark、Haddp、Flink)を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可 〈メンバー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・詳細設計からのご経験がある方。。 ※OSS(Kafka、Spark、Haddp、Flink)を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可
案件の内容
フロー管理システムの開発・保守作業
求めるスキル
・ファイル操作として、Palantirの標準機能を使いつつ、Python(PySpark)でコーディングできる ・仕様(要件定義レベル)を確認した後、仕様書を作成するのではなく、直接コーディングに入る(アジャイル的なエンハンスを実施中) ・現状のシステム内部を把握する活動に能動的に入れる ・SQL/Python
1 - 30/件 全4件
■Sparkとは 大規模なデータセット(ビッグデータ)向けに高速で柔軟な分析のために設計された、オープンソースのビッグデータ処理エンジンです。 2009年にカリフォルニア大学バークレー校のAMPLabで開発されたSparkは、2010年3月にオープンソース化されました。 ■Sparkの特徴 〈データ形式を選べる〉 分析処理を行う際、データファイルが違う形式の場合がありますが、異なる形式のデータファイルでも、フレームワークをインストールすることなく使用することが可能です 〈パフォーマンスの向上〉 CSV・Json・XML・ORC・Avro・Parquetなどの、多くの形式がサポートされており、最適なデータ形式を使用することができます。 最適なデータを使用することで、パフォーマンスの向上に役立ちます。 〈豊富なライブラリ〉 高度なライブラリが含まれているため、別途インストールをすることなく使用できます 〈様々なデータソースに対応可〉 様々なデータソースに対応しているため、企業が既に所持しているデータソースから取り出しやすくなっています。 業界全体でApache Spark利用のハードルが高くなく、分散環境が作りやすい傾向にあります。 〈データ格納場所の選択肢が広い〉 Apache Sparkは様々なファイルが対応しているため、さまざまな種類のデータ置き場に格納できます。 ファイルの選択肢が広がることにより、自身が使いやすいファイルで作業を行えるメリットがあります