データ 3.0 への旅

Coinbase データ担当副社長 Michael Li 氏

データは企業にとって金鉱です。 適切に管理されれば、全員に説明責任を負わせるための重要なツールに加えて、大規模な意思決定につながる明確さと洞察が得られます。

ただし、ほとんどの企業は Data 1.0 に固執しています。つまり、データを手動の受動的なサービスとして活用しています。 一部の企業は、シンプルな自動化を採用してチームの生産性を向上させる Data 2.0 への移行を開始しています。 暗号データ​​の複雑さにより、データに新しい機会が開かれました。つまり、データ 3.0 の新しいフロンティアに移行し、体系的なインテリジェンスと自動化を通じて価値の創造を拡大できます。 これが Data 3.0 への私たちの旅です。

Coinbase は金融会社でもテクノロジー会社でもありません。仮想通貨会社です。 この違いは、データの処理方法に大きな影響を及ぼします。 暗号企業として、私たちは (通常の 1 つか 2 つのタイプのデータの代わりに) 3 つの主要なタイプのデータを扱っており、それぞれが複雑で多様です。

  1. ブロックチェーン: 分散型で公開されています。
  2. 製品: 大きくてリアルタイム。
  3. 財務: 高精度で、多くの財務/法律/コンプライアンス規制の対象となります。

私たちは、この多様なデータを連携させ、データのサイロ化を解消し、問題が発生する前に問題を解決し、他の方法では存在しなかったコインベースの機会を創出することで、価値の創造をどのように拡大できるかに焦点を当ててきました。

LinkedIn や eBay などのテクノロジー企業や、Capital One などの金融セクターの企業で働いてきた私は、Data 1.0 から Data 3.0 への進化を目の当たりにしてきました。 データ 1.0 では、データは、アドホックな手動サービスまたは緊急の状況での消火活動を提供する反応的な機能と見なされます。

Data 2.0 では、シンプルなツールとサードパーティのソリューションを活用して、手動および反復的なタスクの一部を自動化し、チームの生産性を向上させます。 ほとんどの場合、データ チームは依然として、より多くの価値をもたらすために、より多くの人的資源を追加することに依存しています。 そして最後に、Data 3.0 の段階では、データ システムがオープンソースと社内のテクノロジーを組み合わせて作成され、価値の創造を根本的に拡大します。

データ 3.0 の至福への道中

Data 3.0 の最大の利点は、すべてのデータ フローにわたって作成される効率と一貫性です。 これにより、企業は、限られたリソースの下で差し迫ったニーズを維持しながら、企業の長期的な成功のために設定された包括的なデータ基盤を構築することができます。 会社が小さく、急速に変化している場合は明らかではないかもしれませんが、会社が規模を拡大し、ハイパー成長を経験するにつれて、データフロー全体の一貫性 (またはその欠如) が大きな問題となり、早い段階でビジョンを確立しないと軌道修正することが困難になる可能性があります。 .

世界最高のテクノロジー企業でさえ、異なるエンジニアリング チームが特定の問題点を解決するために特注のデータ製品やサービスを構築することで、悪い習慣を作り出す可能性があります。 これにより、エンド ツー エンドのデータ システムの標準化されたワークフローに大きなギャップが残る可能性があり、大規模なデータの構築と操作が困難になります。 さらに悪いことに、これらの 1 回限りの作業が大きくなり、統合と移行に時間がかかるスタンドアロン システムになる可能性があります。 これらは多くの場合、レガシー システムとして残り、時間の経過とともに会社に莫大な技術的負債をもたらします。

ブロックチェーン技術とデータのユースケースの絶え間ない進化を考えると、私たちのデータ 3.0 の取り組みはまだ完了していません。 そうは言っても、私たちは私たちが成し遂げた進歩を非常に誇りに思っています。 これまでの業務とシステムの概要をご紹介します。

データの保存と処理

特定のテクノロジーを採用するための選択に関係なく、ストレージの分離、コンピューティングとセマンティクスの分離、「信頼できる唯一の情報源」という 3 つの主要なコンポーネントに対する明確な戦略が必要です。 これらのコンポーネントを切り離し、明確な技術戦略を設定することで、会社の成長に伴うパフォーマンスと容量のボトルネックを回避できます。

データプラットフォームとアプリケーション

社内テクノロジー、オープンソース ツール、ベンダー ソリューションの組み合わせを使用してさまざまな要求に対応していますが、各カテゴリの特定のソリューションを決定する際には明確なトレードオフを行い、将来的に重複やあいまいさが生じないようにします。 これは、イベント システム、データ オーケストレーション ワークフロー、ビジネス インテリジェンス レイヤー、実験プラットフォームの管理方法にも当てはまります。 また、高度に分離されたスケーラブルなアーキテクチャになります。

機械学習とプラットフォーム

これは、近年の AI の誇大宣伝を考えると、おそらくデータ チームの最も「輝かしい」部分ですが、データ チームの最も機能横断的なコンポーネントでもあります。 私たちの真にエンド ツー エンドの機械学習プラットフォームである Nostradamus は、データ パイプライン、トレーニング、デプロイ、サービス提供、実験など、Coinbase のすべての機械学習モデルを強化します。 機械学習プラットフォームは、データ エコシステムの他のすべての部分を念頭に置いて構築されているため、機械学習が差し迫った問題を解決できるだけでなく、ビジネスとともに成長および拡大できるように設計されています。

データサイエンスとデータ製品

これらの 2 つの領域は、基本的に、顧客を喜ばせ、価値を生み出すために精選された、抽出されたデータ インサイトのプレゼンテーション レイヤーであるため、データ チームの中で最もエンドユーザーに優しい部分です。 彼らは、上記のすべての取り組みから最も直接的な受益者でもあります。

チームの最も顕著な使命は、データ サイエンティストが機械から離れ、機械がデータを提供し、消費者にスケーラブルな方法で価値を生成できるようにすることに焦点を当てることです (機械とデータの消費者の間の仲介者になるのではなく)。

この作品はもともとに登場した TechCrunch.


データ 3.0 への旅 に最初に公開された コインベースブログ Medium では、人々はこのストーリーを強調したり、それに反応したりすることで会話を続けています。

Share:

Share on facebook
Facebook
Share on twitter
Twitter
Share on pinterest
Pinterest
Share on linkedin
LinkedIn

Related Posts

2021年に暗号波に乗った有名人

過去数年間の栄光を覆い隠していた暗号エコシステムは、2021年を通して1年間のスポットライトを維持することができました。 主流の採用 ビットコインのBTC)、ミームコイン狂乱 駆動 柴犬(SHIB)とドージコイン(ドージ