検索条件
Sparkのフリーランス求人・案件一覧
1 - 30/件 全3件
【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援のフリーランス求人・案件
業務委託(フリーランス)
武蔵小杉駅
案件の内容
データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験
求めるスキル
Python経験者様（3年程度は欲しい）
【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業のフリーランス求人・案件
業務委託(フリーランス)武蔵小杉駅案件の内容
某通信会社向け開発支援作業
求めるスキル
〈リーダー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・リーダー経験が1年以上ある方。 ・基本設計からのご経験がある方。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可 〈メンバー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・詳細設計からのご経験がある方。。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可
【Python /一部リモート/週5日】フロー管理システムの開発・保守作業のフリーランス求人・案件
業務委託(フリーランス)案件の内容
フロー管理システムの開発・保守作業
求めるスキル
・ファイル操作として、Palantirの標準機能を使いつつ、Python(PySpark)でコーディングできる ・仕様（要件定義レベル）を確認した後、仕様書を作成するのではなく、直接コーディングに入る（アジャイル的なエンハンスを実施中） ・現状のシステム内部を把握する活動に能動的に入れる ・SQL/Python
1 - 30/件 全3件
Sparkのフリーランス求人・案件について
■Sparkとは 大規模なデータセット（ビッグデータ）向けに高速で柔軟な分析のために設計された、オープンソースのビッグデータ処理エンジンです。 2009年にカリフォルニア大学バークレー校のAMPLabで開発されたSparkは、2010年3月にオープンソース化されました。 ■Sparkの特徴 〈データ形式を選べる〉 分析処理を行う際、データファイルが違う形式の場合がありますが、異なる形式のデータファイルでも、フレームワークをインストールすることなく使用することが可能です 〈パフォーマンスの向上〉 CSV・Json・XML・ORC・Avro・Parquetなどの、多くの形式がサポートされており、最適なデータ形式を使用することができます。 最適なデータを使用することで、パフォーマンスの向上に役立ちます。 〈豊富なライブラリ〉 高度なライブラリが含まれているため、別途インストールをすることなく使用できます 〈様々なデータソースに対応可〉 様々なデータソースに対応しているため、企業が既に所持しているデータソースから取り出しやすくなっています。 業界全体でApache Spark利用のハードルが高くなく、分散環境が作りやすい傾向にあります。 〈データ格納場所の選択肢が広い〉 Apache Sparkは様々なファイルが対応しているため、さまざまな種類のデータ置き場に格納できます。 ファイルの選択肢が広がることにより、自身が使いやすいファイルで作業を行えるメリットがあります