Perkara Terbaik Dalam Kehidupan Tidak Skala

Kata kunci terbesar dalam teknologi akan gagal kerana mereka tidak membuat skala.

Apabila kami dengan cepat berinovasi dengan teknologi baru, kami harus ingat sama ada atau tidak inovasi kami adalah praktikal dan layak. Di dunia di mana kita mengira pengguna dalam beribu-ribu dan runtime dalam milisaat, ia lebih penting daripada sebelumnya untuk memastikan skala teknologi baru.

Itulah sebabnya mengejutkan bahawa tiga buzzwords terbesar dalam teknologi benar-benar gagal untuk skala.

Sudah tentu, saya bercakap tentang tiga kategori yang seolah-olah setiap sedikit berita teknologi jatuh ke dalam masa kini:

  1. Kecerdasan Buatan
  2. Blockchain
  3. Realiti Campuran (XR, AR / VR)

Nampaknya hampir semuanya sama ada dengan menggunakan atau menambah ini tetapi ia gila bagaimana menyakitkan (dan tidak mustahil) untuk skala perkhidmatan ini.

Kami memerlukan lebih banyak perkakasan

Kekurangan pertama dan paling utama adalah perkakasan. Tidak rahsia lagi bahawa keperluan perkakasan untuk teknologi meningkat pesat tahun demi tahun, baik dalam harga dan spesifikasi. Ini berkesan menjadi faktor penyekat dalam penggunaan yang meluas, dan dalam hal blockchain, itu pembunuh.

Blockchain biasanya bergantung pada "penambang" yang "blok lombong" dan membenarkan rangkaian menjalankan tugas yang paling asas (iaitu, mengesahkan transaksi). Proses "perlombongan" adalah sesuatu yang saya tidak akan masuk secara mendalam, tetapi ia melibatkan melaksanakan fungsi kriptografi yang besar, suatu proses yang dikenali sebagai "hashing."

Masalah dengan hashing ialah ia memerlukan sejumlah besar kuasa pengkomputeran; sebenarnya, sejumlah besar yang perlombongan secara cekap di blokchain memerlukan perkakasan khas, sama ada GPU atau ASIC. Untuk menjadi pelombong terkecil, anda memerlukan GPU spesifikasi tinggi (jadi, Intel HD Graphics adalah standard pengguna sekarang pada dasarnya setiap GPU di atasnya adalah spesifikasi tinggi) atau ASIC khusus. Ini membuat rang undang-undang yang cukup besar, dengan kebanyakan harga peranti beratus hingga ribuan dolar seunit, tidak mengira penggunaan elektrik yang tinggi yang dianggap sebagai kos operasi.

kekurangan GPU yang besar pada tahun 2018

Ini telah menjadi faktor penyekat yang penting dalam penggunaan blockchain. Malah, disebabkan oleh sebab ini, harga GPU melonjak, dan stok semuanya hilang tetapi meninggalkan pelombong yang berpotensi tanpa sebarang alat, merosakkan industri permainan PC dan menghalang penyelidik daripada memperoleh akses kepada perkakasan mewah. Malah pengeluar GPU seperti Nvidia yang mendapat keuntungan dari kenaikan itu akhirnya telah membicarakan kekurangan yang teruk sebagai punca langsung blokchain.

Setahun kemudian, sebahagian besar teknologi blockchain ini telah hilang, dan harga mata wang utama cryptocurrency telah jatuh kepada seperempat daripada penilaian mereka. Keprihatinan yang paling banyak dinyatakan dengan blockchain adalah kegagalannya untuk skala, dan perkakasan kekal (dan akan terus menjadi) faktor penghalang dalam skala teknologi blockchain.

Walau bagaimanapun, isu ini tidak terhad kepada blockchain. Kecerdasan Buatan bergantung pada perkakasan yang sama (GPU), dan ini menjadi faktor penyekat dalam bidang itu juga; permulaan yang paling awal tidak mampu untuk membina sebuah ladang GPU yang besar seperti Google, dan membeli kuasa pengkomputeran dari pembekal awan seperti AWS datang dengan kenaikan harga 4x yang memasang rak pelayan besar.

Dengan XR, isu ini lebih ganjil. Untuk menjalankan pengalaman ini, pengguna perlu memberi visual, dan peranti pengguna perlu memproses input deria. Ini meletakkan beban kebanyakannya pada pengguna, yang amat bagus untuk perniagaan yang ingin masuk ke ruang XR tetapi menyebabkan masalah utama dengan skala.

Sebagai contoh, mari kita ambil Oculus VR. Oculus adalah salah satu daripada alat dengar VR yang pertama untuk dilancarkan dan kekal sebagai nama yang popular di dalam bidang itu, sejak dibeli oleh Facebook dan memantapkan tempat mereka di pasaran.

The

Sayangnya, Oculus hampir secara eksklusif beroperasi pada PC desktop, lebih-lebih lagi memerlukan spesifikasi GPU yang tinggi. Ia menghadapi masalah yang sama seperti blockchain dan AI, tetapi dengan kebimbangan yang lebih besar: sedangkan dengan perniagaan AI hanya dapat membuang wang di infrastruktur mereka untuk menyelesaikan masalah sementara, dengan XR beban jatuh pada pengguna. Kitaran adopsi AR / VR bergantung pada GPU pengguna untuk menjadi spesifikasi yang lebih meluas dan lebih tinggi, serta menunggu harga jatuh ke tahap yang berpatutan kepada pengguna purata. Ia merupakan satu proses yang berpotensi untuk mengambil masa beberapa dekad - sementara Ketua Pegawai Eksekutif Nvidia Jensen Huang menyatakan bahawa undang-undang Moore nikmat GPU, masa yang diperlukan untuk pembangunan yang mencukupi untuk menaikkan spesifikasi sementara menurunkan harga masih berjumlah beberapa tahun.

Untuk ketiga-tiga kata kunci utama dalam teknologi, ia adalah hukuman yang mengecewakan.

Runtime

Apabila kita bercakap mengenai masa pelaksanaan dalam pengkomputeran, kita secara amnya bermakna dalam milisaat, kerana pengguna telah berkembang menjangka interaksi segera.

Malangnya, ini tidak sama sekali dengan ketiga-tiga teknologi di atas.

Dengan blockchain, perlombongan blok tunggal mengambil masa yang lebih lama dan lebih lama apabila masa berlalu. Ia mendapat ke titik di mana ia tidak lagi menguntungkan bagi individu untuk mengendalikan kriptografi besar, dan kolam perlombongan telah mula memanggil tembakan di rangkaian. Untuk teknologi "terdesentralisasi", ia menguntungkan banyak pemusatan.

Ia juga menjatuhkan hukuman bagi kes penggunaan blockchain (boleh dikatakan) terbesar: cryptocurrency. Cryptocurrency berkembang maju dengan cepat, tanpa pihak berkuasa terpusat, merentas sempadan, dan tanpa bayaran yang besar.

Walau bagaimanapun, dengan kegagalan block block untuk skala dan jumlah masa (masa = elektrik) yang diperlukan untuk mengendalikan blok, bayaran yang berkaitan dengan urus niaga naik ke rekod tinggi; pada puncaknya, Bitcoin mencapai titik di mana yuran yang berkaitan dengan kebanyakan transaksi kecil lebih besar daripada biaya transaksi yang sebenarnya, menjadikannya tidak berguna dan kegagalan total untuk pengguna sehari-hari. Urus niaga mula mengambil masa berjam-jam, dan peraturan disebabkan oleh pelarian, kenaikan harga Bitcoin menjadikannya sukar untuk bergerak Bitcoin melintasi sempadan.

Cryptocurrency menjadi segala yang dijanjikan untuk dimusnahkan.

Dengan kecerdasan buatan, ada masalah yang sangat berbeza. Masa kesimpulan bagi banyak model berskala besar mengambil masa beberapa saat, yang kelihatan seperti sedikit masa tetapi bermula untuk menjadi rakaman dan menjadi tokoh yang memblokir ketika membincangkan userbase yang beribu-ribu.

Selain itu, angka-angka yang dipetik untuk masa kesimpulan daripada kebanyakan model adalah rumit - anda perlu membaca di antara garisan, atau sebaliknya ke garisan seterusnya yang biasanya berbunyi "seperti yang terdapat pada timbunan GPU XYZ kami," di mana "XUZ GPU stack" kos beribu-ribu ringgit dan mesti sepenuhnya didedikasikan untuk tugas inferens tunggal itu.

Tumpuan TPU Google yang sering digunakan untuk melatih model mereka

Sudah tentu, penyelidikan sedang dilakukan di sini, tetapi kajian yang dijalankan hampir sepenuhnya memberi tumpuan kepada masa latihan, yang saya akan berhujah tidak begitu penting. Untuk latihan, seminggu bukan masalah besar - apa-apa permulaan boleh ganti seminggu untuk melatih model yang akan menjadi asas perniagaan mereka.

Masalah yang lebih besar terletak pada kesimpulan. Di peringkat akar, latihan memerlukan kesimpulan - kesimpulan biasanya disebut sebagai fasa "ke hadapan" rangkaian, dan ini mesti berlaku dalam latihan sebelum latar belakang dijalankan. Walau bagaimanapun, dalam latihan, semua data yang perlu disimpulkan tersedia pada mulanya.

Dalam erti kata lain, keseluruhan batch boleh diproses sekaligus (iaitu, 100s pada gambar pada masa yang sama), kerana skala matematik - mendarabkan matriks yang lebih besar daripada beberapa matriks adalah lebih berkesan daripada mendarabkan beberapa matriks 1 matriks (dengan kata lain , ia lebih berkesan untuk berbuat lebih banyak sekali). Ini naik ke tahap tertentu, sama seperti idea mengurangkan pulangan dalam ekonomi, tetapi tetap bahawa latihan yang dibekukan membolehkan kita mengukur kesimpulan pada sejumlah besar data.

Malangnya, secara praktikal, pemprosesan batch jarang berlaku.

Ia jarang berlaku bahawa model harus menjalankan kesimpulan pada 200 imej sekaligus; ia lebih berkemungkinan bahawa 200 imej diserahkan untuk kesimpulan dalam, katakan, satu minit. Akan ada hambatan keras dalam masa kesimpulan setiap imej; walaupun masa kesimpulannya mengatakan, satu pertiga daripada satu saat (yang tidak dapat dipisahkan dengan pantas - itu adalah masa yang dibanggakan oleh model terpantas, seperti model ramalan ayat yang dioptimalkan oleh Gmail) akan menghasilkan hanya 180 imej yang diproses setiap minit. Walaupun pada beban kecil 200 / min, model gagal untuk skala, dan untuk menilai tunggakan yang semakin meningkat, contoh kedua mesti dijadikan seimbang.

Ia adalah pil yang sukar untuk ditelan di dunia di mana beban besar diberikan; sebenarnya, Node's Express telah dibakar sebelum hanya menyokong beberapa ribu sambungan / kedua, serupa dengan pangkalan data NoSQL popular yang dikritik kerana mengalami kesesakan di beberapa ribu transaksi / saat.

sebuah empangan yang dijamin meletup

Ia adalah angka yang tidak pernah didengar di dunia AI, yang mengalami kesesakan keras pada beberapa ratus per detik dari segi kesimpulan tersendiri pada satu contoh model, walaupun dengan pengoptimuman yang paling maju yang anda boleh buat.

Dengan XR, ada masalah yang sangat berbeza. Isu ini terletak di rendaman - untuk rendaman dan mengelakkan lembah yang tidak semestinya, interaksi perlu berlaku, dan penyesuaiannya harus disesuaikan dengan lebih cepat daripada yang dapat dilihat oleh manusia. Dalam erti kata lain, beberapa ratus milisaat tidak cukup pantas.

Dengan XR, kita mengukur perkara dalam jumlah kecil milisaat. Kami mengukur kependaman yang diterima seperti di bawah ~ 20ms (angka yang banyak pemain tidak setuju, sebagai 100+ fps dan sepuluh ping dianggap normal untuk kebanyakan pelantar).

Ia merupakan angka yang kekal sebagai hambatan dan adalah yang kita tidak berada di mana-mana; manakala teknologi XR memberi tumpuan secara intensif pada ini dan banyak penemuan telah dicapai dalam bidang ini dari segi input dan rendering deria tetap, kita masih menghadapi masalah dari segi interaksi; tepatnya, XR membuka pelbagai kemungkinan baru untuk interaksi yang tidak dapat diproses dengan cepat oleh kebanyakan enjin.

Enjin Imej Berganda ARCore seperti yang dipamerkan di Google I / O 2018

Lebih-lebih lagi, untuk menjalankan pembesaran imej dengan apa-apa yang lebih rumit daripada homografi, kependaman itu terlalu tinggi untuk dianggap "diterima" oleh kebanyakan pengalaman. Yang terpantas yang kami telah diuji sejauh ini adalah Imej ARCore Augmented Google, yang menggunakan homograf (terdapat juga demo Augmented Faces yang agak perlahan dan mempunyai latency / ketinggalan yang ketara).

ARCore Augmented Faces demo

Ia masalah besar

Dalam tempoh dua tahun yang lalu sahaja, bilangan kemajuan dalam ketiga-tiga bidang ini tidak dapat diatasi.

Di AI, kita melihat generasi bahasa semula jadi melompat ke hadapan dengan GPT-2, yang memperoleh reputasi sebagai Imagenet NLP. Ia membuka dunia baru kemungkinan dengan pemprosesan teks. Kami juga melihat rangkaian konvolusi dan GAN tumbuh untuk mengadopsi imej 4k, dan kami memasuki era di mana AI dapat meniru imej HD dan menjana kandungan yang kelihatan dipercayai oleh mata manusia.

Dengan blockchain, bidang ini telah menjadi kurang muddied, dengan beberapa wang tunai meraih mati dan membuat lebih banyak ruang untuk pendedahan dengan platform sedia ada. Steam telah meningkat dengan ketara pada tahun lepas, bersama-sama dengan Stellar dan penggunaan blockchain dalam teknologi tetap. JPMorgan, BofA, dan Facebook telah mengumumkan bahawa blockchain mereka dan blokchain diterapkan menyaksikan kenaikan dengan platform seperti DLive yang telah memulakan arus perdana (DLive baru-baru ini membentuk perkongsian dengan personaliti terbesar YouTube dengan platform pertama penciptanya).

Di XR, kami telah melihat tahap telefon XR dan AR menjadi kenyataan dengan banyak penambahbaikan kepada ARCore. Ia menjadi mungkin untuk mengintegrasikan AI ke XR dan membangunkan pengalaman yang memungkinkan untuk beberapa tahap interaksi manusia (kita tidak berada pada sentuhan fizikal hanya, tetapi ada projek yang membolehkan interaksi lain, seperti Fiddler AR).

Ini adalah semua bidang yang mempunyai kesan yang besar dan signifikan terhadap masa depan teknologi, dan di mana tamadun manusia akan berjalan secara keseluruhan. Ini adalah teknologi yang tidak memberi kesan kepada ekonomi; mereka mentakrifkan semula; mereka tidak memberi kesan kepada masyarakat dan interaksi; mereka menghidupkan semula. Ia membuat perbaikan seluruh kebudayaan kita, dan pada peringkat akar umbi, ia dipanggil Revolusi Perindustrian.

Bagi pergerakan yang mempunyai bantahan besar pada orang awam yang meluas, ia sangat penting dan paling penting bahawa ia dapat skala untuk menyokong orang ramai dengan mudah. Sehingga ini dilaksanakan, ia menghalang pengangkatan dan membentuk penghalang keras untuk masuk dari segi inovasi di luar syarikat besar.

Saya berharap dapat melihat lebih banyak inovasi dalam meningkatkan teknologi ini. Di Epic.ai, kami memberi tumpuan kepada membangunkan aplikasi yang sangat bergantung kepada AI dan blockchain - kami terlalu akrab dengan batasan skala; ia adalah masalah yang akan kita usahakan dalam beberapa tahun akan datang, dan masalah yang kita harap industri akan datang untuk menyelesaikannya.

Hey! Saya Tomer, seorang usahawan, dan pembuat. Anda mungkin tahu saya dari Mevee, Crane, dan Shots, Slaid dan kini investorintelligence.io antara produk lain yang telah saya lancarkan! Artikel ini adalah sebahagian daripada siri yang lebih luas yang saya tulis kebanyakannya berdasarkan pengalaman saya dan terutama dibuat oleh saya dan pendapat pasukan saya.

Saya harap ini membantu anda untuk mengelakkan melakukan kesilapan yang sama yang saya lakukan, dan ingat untuk teruskan penghantaran!

Tolong bertepuk tangan jika anda dapati ini berharga, dan ikuti saya untuk menulis lebih lanjut seperti ini kerana saya berkongsi cerita tentang perkembangan perisian dan keusahawanan dalam kehidupan sebenar.

Kisah ini diterbitkan dalam penerbitan keusahawanan terbesar The Startup, Medium diikuti oleh +442,678 orang.

Langgan untuk menerima cerita teratas kami di sini.