Вопросы с тегом "scala"

0

Возвращаясь для обновления и запросы удалить пятно

Я пытаюсь адаптировать гениальное решение от этот вопрос для работы с произвольными Update и delete запросы в Postgres. Это хорошо работает, когда есть только один параметр bind в результирующий запрос. Е. Г.: users.filter(_.name === "Ann").map(_.na...
1

скала: добавить два списка

У меня есть следующий фрагмент кода на Scala: def append(as: List[Int], bs: List[Int]): List[Int] = as match { case Nil => bs case x::xs => x::append(xs, bs) } Я не понимаю x:: в строке, где -это. Я знаю, что когда список ...
0

Нужна помощь в создании кода для взаимной проблема друзей в СПАРК

Дан набор с пар логинов, соответствующих друзьями в социальная сеть, написать программу для вывода каждого пользователя Я-й степени друзья, за каждый положительный я меньше или равна П, за фиксированную Н. А успешное решение может масштабироваться до...
0

Лучший способ функцию takeDamage в РПГ игры

Я начинающий программист, пытаюсь сделать простой РПГ игры и нужны идеи о том, как сбалансировать атаку/ защиту. В принципе, я просто хочу знать, если есть лучший способ сделать это, где ваш стат обороны могут отразить некоторый процент урона, в то ...
1

Цель шаблон, в котором объект расширяет черта с одноименным названием - объект живой простирается жить

Я пытаюсь ЗиО. Я не понимаю, почему обавляется буква S в , и тогда вляется как: object Live extends Live Этот шаблон можно найти в разных местах, например на . Есть причина, или есть случаи, когда это имеет смысл?
0

структурированная потоковая передача Кафка исключения filenotfoundexception:/application_1568106731393_0586/blockmgr/temp_shuffle (слишком много открытых файлов)

Ява.Ио.Исключение filenotfoundexception: /data/hadoop/yarn/local/usercache/hue/appcache/application_1568106731393_0586/blockmgr-d2b8076e-92c8-4f0c-a8a0-68b08b7b16de/21/temp_shuffle_f0801cd8-0676-40fa-932b- 8d315c6e0d49 (слишком много открытых файлов)...
2

Пример таблицы данных не транслировал, а делать соединения без изменения СПАРК свойства

По данным документации, небольшой будет транслироваться по умолчанию, если это улей Метахранилища таблицы и DataFrame размером меньше, чем 10MB. Здесь я пытаюсь найти пример "небольшой" , которая не транслируется, что статистика не рассчитаны. Пок...
0

ScalaMeter: тест бросил исключение

Просто я первый раз с ScalaMeter и Scala. Я пытаюсь проверить два простых способа, и я писал, основываясь на образцах, приведенные в ScalaMeter простой тест страницу следующий код: import org.scalameter.api._ object RangeBenchmark extends Bench.Loc...
1

Искра JDBC для чтения, раздел, тип столбца, чтобы выбрать?

Я пытаюсь прочитать таблицу SQL (15 млн. строк), используя искру в таблицы данных, я хочу использовать многоядерные, чтобы сделать чтение очень быстро и сделать раздел, Что столбец/S Я могу выбрать раздел ? это идентификатор, идентификатор UUID, посл...
0

Как найти кодировку файла с использованием Java

Я пытаюсь найти кодировку файла с помощью java-программы. Но он всегда обеспечивая UTF-8 в качестве выходного. Хотя это файл в кодировке ANSI. import java.io.InputStream import java.io.FileInputStream import java.io.BufferedInputStream import jav...
0

Как объявить параметр функции Кортеж по умолчанию в Скала?

Я хочу объявить функцию, которая получает строку и Tuple2 с первым значением как логическое значение и второе значение, как и любой тип. В tuple2 должен иметь значение по умолчанию в случае, если его не доставили функции Я попробовал следующий код...
0

Преобразование вложенных нулевых значений на пустые строки внутри таблицы данных СПАРК

Я ищу, чтобы преобразовать значение null, вложенные в массив строки пустые строки в Искра. Данные в таблицу данных. Я планирую запуск снизить функцию после создания таблицы данных значение null, а не уверен, если это поможет в ответе на вопрос. Я исп...
0

Общая ошибка при попытке вызова код Scala в Python

Я пытаюсь реализовать диалект с кодом Скала внутри питона(pyspark, ноутбук jupyter) import spark import pixiedust from pyspark import SparkContext from pyspark.sql import SparkSession, SQLContext import os from dotenv import load_dotenv %%%%scala c...
0

Как определить поток сообщений трансформатор для пользовательского типа данных при переносе скала форма вебсокетов играть играть 2.4 2.6

В игре версии 2.4, я определил пару formater рамка для обмена тип данных implicit val sender: FrameFormatter[Sender] = jsonFrame[Sender] implicit val reciever: FrameFormatter[Receiver] = jsonFrame[Receiver] private def jsonFrame[A : CodecJson]: F...
1

Мне нужно, чтобы использовать ThreadPoolTaskSupport?

Я столкнулась с ситуацией в Scala 2.11, где мне нужно параллельно использовать специальный механизм продевать нитку. В Scala код зависит от платформы, написанный в Java, который создает на , чтобы управлять потоками; Скала код должен вклиниться в то...
2

Найти регулярные выражения в строках в Scala

Я пытаюсь создать регулярное выражение, которое соответствует строке, есть /x+any number/ в них, там что угодно может быть написано до или после этого. Я попытался создать следующее регулярное выражение .*/x+\\d*/.* Пример строки, я пытаюсь матч ...
1

заказатьпо таблицы данных на двух или трех столбцов в зависимости от состояния искры скала

Я борюсь с этой проблемой с помощью свечей Скала: У меня есть inmutable значение 'ИТЭР', который может быть установлен на 1 или 2. В зависимости от значения 'ИТЭР', если это 1 мне нужно создать новую таблицу данных, которая является предыдущей отсо...
0

Предел расширения признака для нескольких классов - Скала

Есть ли способ, чтобы ограничить возможности того или иного признака расширяется не только одного класса, но и многим? Из этого: def trait Extendable { this : A => (...) } к этому: def trait Extendable { this : A | B | C => (...) }...
0

Избегая осуждения предупреждение о matchPattern против regex в ScalaTest

Рассмотрим следующий код: val IdentifierRe = "([a-z]+)([0-9]+)".r object IntPart { def unapply(arg: String): Option[Int] = Some(arg.toInt) } "foo123" should matchPattern { case IdentifierRe("foo", IntPart(123)) => } Он компилирует, но выдает...
1

Доступ к андроид из драйвера в Искру

Я пытаюсь сделать некоторые действия на Driverтороны искры, в то время как приложение работает. В должен знать задачи прогресса до принятия любого решения. Я знаю, что прогресс задания можно доехать за каждый или из -класс, позвонив в. Вопрос,...
1

Использовании если в случае

Я пытаюсь узнать, Скала и пытался написать функцию, которая использует оператор Case(переключатель), чтобы иметь возможность определить, является ли число четным или нечетным. Любая идея, где я есть мой синтаксис неправильный? val y = List(1, 3, 5, ...
2

Файл парсить JSON с помощью искры Скала

У меня есть JSON источник данных файл, как показано ниже, и мне нужно ожидаемых результатов в совершенно другом формате, который также будет показано ниже, есть ли способ я могу добиться этого с помощью искры Скала. Ценю вашу помощь на этом Файл ис...
0

Становится медленным оповещения запрос при загрузке данных из MongoDB с помощью MongoSpark.нагрузки() в Scala

Я загружаю данные из 200 коллекций MongoDB и кол-ву данных может быть 1-2 миллиона. Я использую MongoSpark.нагрузки() в Scala. После загрузки данных из одной коллекции я преобразования его в таблицу данных путем передачи Схемы StructType, а затем вы...
0

Запись данных в файл S3 с помощью Hadoop файловой системы и API для Java

Я хочу писать данные в файл S3 с помощью системы Hadoop файловой системы API-интерфейса Java Я попытался ниже код и не мог заставить его работать. Может кто поможет мне решить эту val config = new Configuration() config.set("fs.s3a.impl", classOf[o...
2

Объединить 2 таблицы данных на основе подстановки в столбце коллекций - Искра,Скала

У меня есть 2 таблицы данных, как показано ниже, val x = Seq((Seq(4,5),"XXX"),(Seq(7),"XYX")).toDF("X","NAME") val y = Seq((5)).toDF("Y") Я хочу объединить две таблицы данных путем поиска значение из и поиск сл/массив в , Если существует, вступи...